GPT
הוספת כלי
D

dolphin-2.5-mixtral-8x7b

קוד פתוח

dphnapache-2.02023-12-14

  • transformers
  • pytorch
  • safetensors
  • mixtral
  • text-generation

גרסה נטולת צנזורה של מיקסטרל שמתמקדת בכתיבת קוד ובציות מוחלט להוראות. מי שבוחר בה מחפש מודל מומחה שלא מטיף מוסר ולא מסרב לבקשות.

  • 47Bפרמטרים
  • 32,768טוקנים בהקשר
  • 174 GBמשקל הקבצים
  • 606הורדות בחודש

מה זה

מדובר בכוונון עדין של מיקסטרל שנבנה כדי לפתור את הבעיה הקבועה של מודלים שמסרבים לענות או מרצים למשתמש. היוצר סינן ממאגרי המידע את שכבות ההתאמה וההטיה המובנות, כך שהתוצאה היא כלי צייתן שמגיב כמעט לכל הוראה. בגרסה הזו הורידו דאטהסטים ישנים כמו סמנתה והוסיפו אימונים ייעודיים לתכנות, כולל מג'יקודר ודופלין קודר, מה שהופך אותו לחזק משמעותית ביצירת סקריפטים ופתרון בעיות פיתוח.

בסיס הארכיטקטורה הוא שמונה מומחים של שבעה מיליארד פרמטרים, אבל האימון הספציפי נעשה על הקשר של 16 אלף טוקנים למרות שהבסיס תומך ביותר. המודל עובד בתבנית צ'אט אמ אל מוכרת. הוא מתאים למי שרוצה שליטה מלאה בתשובות בלי מסננים חיצוניים שמגבילים את הניסוחים.

מתאים ל

  • כתיבת קוד ואוטומציה

    הוא אומן על מאגרי תכנות ייעודיים ומספק קוד מדויק בלי סירובים מיותרים.

  • סוכן בדיקות אבטחה

    היעדר הצנזורה מאפשר לבדוק תרחישי תקיפה וחולשות בלי שהמודל יחסום את השאילתה.

  • עיבוד טקסט חופשי

    מתאים לניתוח נתונים גולמיים שלא עוברים במודלים מסחריים שמרניים.

איפה זה נופל

החיסרון המרכזי הוא היעדר מוחלט של מעצורים. המודל יענה על הכל, כולל דברים לא אתיים, ולכן חובה להקים שכבת סינון עצמאית לפני שחושפים אותו למשתמשי קצה. בנוסף, הוא לא עבר אופטימיזציית העדפה אנושית, מה שאומר שלפעמים צריך להנדס עבורו פרומפט מערכת מפורט ותקיף כדי שיספק תוצאות מדויקות ולא יתפזר. הוא אומן באנגלית בלבד, כך שאי אפשר לבנות עליו לעברית.

שאלות
נפוצות

האם הוא יעבוד טוב בעברית?

לא. נתוני האימון המוצהרים הם באנגלית בלבד, והוא לא עבר התאמה לשפות אחרות. טקסט בעברית צפוי להניב תוצאות שבורות או תרגום ברמה נמוכה.

למה המודל דורש פרומפטים מורכבים במיוחד?

הוא לא עבר תהליך של כוונון העדפות ישיר, ולכן הוא זקוק להנחיות מערכת ברורות כדי להבין את גבולות המשימה. בלי פרומפט מערכת מפורט, הביצועים שלו עשויים להיות פחות עקביים.

איך מריצים

כדי להריץ אותו מקומית צריך מפלצת חומרה. הקבצים שוקלים 174 גיגה בייט בפורמט בי פלוט 16, מה שאומר שצריך לפחות שני כרטיסי מסך חזקים ברמת שרתים או קוונטיזציה כבדה כדי להיכנס לזיכרון עבודה סביר. היוצר השתמש בארבעה כרטיסי איי מאה רק כדי לאמן אותו באיטרציה קצרה.

בפועל, עבור רוב המפתחים עדיף לצרוך אותו דרך ספקי ענן או ממשקי איי פי איי שמחזיקים תשתית מתאימה. אם מריצים לבד דרך ספריית טרנספורמרס, חובה להפעיל את הדגל שמאפשר הרצת קוד מרוחק, אחרת הטעינה תיכשל.

from transformers import pipeline

pipe = pipeline("text-generation", model="dphn/dolphin-2.5-mixtral-8x7b")
print(pipe("שלום"))

הקבצים

49 קבצים במאגר, 174 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י שתיים אפס. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו בתוך מוצרים, כל עוד שומרים על הודעת הרישיון המקורית ומציינים שינויים שבוצעו.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗