GPT
הוספת כלי
D

Dolphin-Mistral-24B-Venice-Edition

קוד פתוח

dphnapache-2.02025-06-12

  • transformers
  • safetensors
  • mistral3
  • image-text-to-text
  • text-generation

גרסה פתוחה לחלוטין של מיסטרל בגודל 24B שנבנתה בלי מנגנוני סינון כפויים. היא נותנת לכם שליטה מלאה על ההנחיות ועל האופי בלי סירובים מיותרים.

  • 24Bפרמטרים
  • 131,072טוקנים בהקשר
  • 44.8 GBמשקל הקבצים
  • 607,959הורדות בחודש

מה זה

מדובר בשיתוף פעולה בין dphn לבין Venice.ai שמטרתו לייצר מודל נטול צנזורה על בסיס Mistral 24B. בניגוד למודלים סגורים שמשנים התנהגות או מסרבים לבקשות בגלל כללי בטיחות מובנים, כאן המודל עושה בדיוק מה שאתם מגדירים לו בפרומפט המערכת. הוא שומר על תבנית השיחה הרגילה של מיסטרל ותומך בהקשר רחב מאוד.

היוצרים בנו אותו כדי לתת מענה לצוותים שרוצים יציבות ושליטה באופי התשובות, בלי לחשוש משינויים שרירותיים של ספקי ענן או ממעקב אחרי השאילתות. הוא מתפקד כמודל לשימוש כללי, אך האחריות על הטון, הגבולות וההנחיות עוברת כולה לצד שלכם.

מתאים ל

  • עוזר פנימי לא מצונזר

    מענה על שאלות בנושאים רגישים שחוסמים מודלים רגילים, כשאתם שולטים בכללי השיח.

  • משחקי תפקידים ודמויות

    בניית דמויות עם אופי קיצוני או חופשי דרך פרומפט מערכת בלי שהמודל ייצא מהתפקיד.

  • עיבוד מידע פרטי

    הרצה מקומית על שרת שלכם כדי להבטיח שאף ספק צד שלישי לא שומר או קורא את המידע.

איפה זה נופל

החופש המוחלט הוא גם הבעיה העיקרית שלו. המודל יענה על כל בקשה בלי לבדוק חוקיות, מוסר או נזק אפשרי, ולכן לא מתאים להטמעה ישירה מול משתמשי קצה בלי שכבת סינון שאתם בונים בעצמכם. בנוסף, חובה להגדיר לו פרומפט מערכת מדויק, כי בלעדיו הוא פועל בהתנהגות ברירת מחדל שעלולה לייצר תוצאות לא צפויות.

שאלות
נפוצות

האם המודל יסרב לבקשות של משתמשים?

לא, הוא אומן לפעול כמודל לא מצונזר ולמלא הוראות ללא היסוס. אם תרצו להגביל אותו, תצטרכו להגדיר את הכללים והגבולות בעצמכם בתוך פרומפט המערכת או לבנות מנגנון בדיקה חיצוני.

למה ממליצים להריץ אותו בטמפרטורה נמוכה כל כך?

היוצרים ממליצים על טמפרטורה של 0.15 כדי לשמור על היצמדות מדויקת להנחיות ולמנוע תשובות מפוזרות. בגלל שאין לו מנגנוני בלימה פנימיים, טמפרטורה גבוהה עלולה לגרום לתשובות פחות עקביות.

איך מריצים

כדי להריץ 24 מיליארד פרמטרים בדיוק של bfloat16 תצטרכו כרטיס מסך עם לפחות 48GB של VRAM, או שני כרטיסי 24GB. הקבצים שוקלים כמעט 45GB, כך שחומרה ביתית סטנדרטית תתקשה בלי קוונטיזציה. בשרת ייצור מומלץ להרים אותו עם vLLM, והיוצרים ממליצים במפורש לעבוד עם טמפרטורה נמוכה של 0.15 כדי לקבל תוצאות יציבות.

אם אין לכם כוח לנהל תשתית כבדה או לשלם על שרת ייעודי, הוא זמין ישירות לשימוש דרך ממשק הרשת של Venice שבו הוא מוגדר כברירת מחדל, וקיים גם בוט טלגרם רשמי.

from transformers import pipeline

pipe = pipeline("text-generation", model="dphn/Dolphin-Mistral-24B-Venice-Edition")
print(pipe("שלום"))

הקבצים

23 קבצים במאגר, 44.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט שוחרר ברישיון apache-2.0, שמאפשר שימוש מסחרי חופשי, שינוי של הקוד והמשקלים והפצה במוצר שלכם, כל עוד אתם שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗