GPT
הוספת כלי
D

dolphin-2.7-mixtral-8x7b

קוד פתוח

dphnapache-2.02023-12-31

  • transformers
  • pytorch
  • mixtral
  • text-generation
  • conversational

גרסה לא מצונזרת של מיקסטרל שמיועדת לציית לכל פקודה בלי להטיף מוסר. המפתח אימן אותה מחדש עם דגש חזק על כתיבת קוד כדי לתקן בעיות ביצועים מגרסאות קודמות.

  • 32,768טוקנים בהקשר
  • 87.0 GBמשקל הקבצים
  • 78הורדות בחודש
  • 169לייקים

מה זה

מדובר באימון המשך על גבי Mixtral 8x7b שבוצע באמצעות qLoRA וארבעה כרטיסי A100. המטרה המרכזית כאן הייתה לייצר מודל צייתן לחלוטין. היוצר סינן מהדאטהסט שכבות יישור והטיות מקובלות, כך שהתוצאה עונה על כל בקשה בלי סירובים מובנים. בנוסף, גרסה 2.7 אומנה עם שכבת ניתוב פתוחה במטרה לפתור בעיות ביצועים שנצפו בגרסאות 2.5 ו־2.6 בעקבות תיקונים בספריית transformers.

האימון כלל שילוב של דאטה ייעודי לתכנות לצד דאטהסטים כמו Capybara ותכני אמפתיה מבוססי Samantha. המודל הבסיסי תומך ב־32k טוקנים, אך אימון ההמשך בפועל נעשה על חלון של 16k טוקנים בפורמט ChatML. הוא לא עבר כוונון DPO, ולכן לעיתים נדרש פרומפט מערכת מפורש כדי לגרום לו לציית עד הסוף למשימות מורכבות.

מתאים ל

  • פיתוח כלי קוד פנימיים

    המודל כולל אימון נרחב על קוד ומאפשר לייצר השלמות ופונקציות בשרת עצמאי ללא תלות בספק חיצוני.

  • מחקר אבטחת מידע

    היעדר הצנזורה מאפשר בדיקות חדירות וסימולציות התקפה בלי שהמודל יסרב לענות על בקשות טכניות.

  • בוטים לתפקידים מותאמים

    הוא נשמע להוראות סיסטם קיצוניות וכולל דאטה של אמפתיה, מה שמאפשר להגדיר לו אישיות נוקשה.

איפה זה נופל

היוצר מציין במפורש שהמודל לא עבר DPO, מה שעלול לדרוש פרומפטים ארוכים ותמריצים מוזרים כדי להוציא ממנו ביצועים יציבים. בנוסף, הוא אומן על 16k טוקנים בלבד למרות שהבסיס תומך ב־32k, כך שהקשר ארוך מאוד עשוי להיפגע. החיסרון המשמעותי ביותר הוא היעדר מוחלט של מנגנוני הגנה. הוא יענה על שאלות לא חוקיות או מסוכנות באותה קלות שבה הוא כותב פונקציה, ואם תחשפו אותו למשתמשי קצה בלי שכבת סינון שאתם בניתם, האחריות לתוצאות עליכם.

שאלות
נפוצות

האם המודל תומך בעברית בצורה טובה?

האימון המוצהר בכרטיס המודל הוא באנגלית בלבד. מודל הבסיס של מיקסטרל קולט שפות נוספות ברמה בסיסית, אך אימון ההמשך לא התמקד בעברית ולכן לא כדאי להסתמך עליו למשימות שפה מקומיות.

למה המפתח השתמש בפרומפט על חתולים בדוגמה?

המודל לא עבר כוונון DPO ולעיתים נוטה להסס. בדוגמה מוצגת טכניקה של הנדסת פרומפט עם תמריצים קיצוניים כדי לחייב אותו לענות על הוראות יוצאות דופן בלי להתווכח.

איך מריצים

המשקל המלא עומד על 87 גיגה בייט בדיוק bfloat16 ומחולק לעשרות קבצים. כדי להריץ אותו מקומית בלי קוונטיזציה תצטרכו שרת עם לפחות שני כרטיסי A100 של 80GB, או לחפש גרסאות מכווצות אם אתם עובדים על חומרה צנועה יותר. שימו לב שהרצת הקוד דורשת הפעלה של trust remote code בספריית transformers.

אם אתם לא מחזיקים שרת ייעודי כזה בחברה או בענן, העלות השעתית של התשתית תהיה גבוהה מאוד ביחס לצריכה מזדמנת. במקרה כזה עדיף לפנות לספקי ענן שמציעים את משפחת מיקסטרל ב־API, אלא אם אתם חייבים ספציפית את הגרסה הלא מצונזרת הזו אצלכם ברשת הפנימית.

from transformers import pipeline

pipe = pipeline("text-generation", model="dphn/dolphin-2.7-mixtral-8x7b")
print(pipe("שלום"))

הקבצים

31 קבצים במאגר, 87.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון המדווח הוא Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה פנימית או חיצונית כחלק ממוצר. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗