GPT
הוספת כלי
D

dolphin-2.6-mixtral-8x7b

קוד פתוח

dphnapache-2.02023-12-21

  • transformers
  • pytorch
  • mixtral
  • text-generation
  • conversational

גרסה לא מצונזרת של מיקסטרל שמיועדת בעיקר לכתיבת קוד ולציות עיוור להוראות. היא לא תטיף לכם מוסר ולא תסרב לבקשות, אבל דורשת חומרה כבדה מאוד.

  • 32,768טוקנים בהקשר
  • 87.0 GBמשקל הקבצים
  • 8,405הורדות בחודש
  • 217לייקים

מה זה

מדובר בכיוונון עדין על בסיס Mixtral-8x7b, שפותח במטרה להסיר לחלוטין את מנגנוני הסינון וההטיה המובנים. האימון נעשה באמצעות Axolotl ו־qLoRA על ארבעה מעבדי A100, תוך שילוב דאטה רחב לכתיבת קוד יחד עם מערכי נתונים כמו Capybara ותכני אמפתיה מבוססי סמנתה. הפורמט הנדרש להרצה הוא ChatML סטנדרטי.

ההבדל המרכזי מול מודלים דומים בגודל הזה הוא רמת הצייתנות. המודל בנוי לבצע מה שמבקשים ממנו בלי לחנך, להתחמק או לסרב, תכונה שמתאימה למי שנתקל בחומות סירוב במודלים של חברות מסחריות. עם זאת, הוא לא עבר אופטימיזציה מסוג DPO, ולכן תצטרכו לעיתים לכוון אותו בצורה מפורשת בתוך ה־system prompt כדי לקבל תוצאות מדויקות.

מתאים ל

  • סיוע לפיתוח וכתיבת קוד

    האימון כלל דאטה נרחב לתכנות, והמודל מייצר קוד ומסייע בדיבאג בלי סירובים מיותרים.

  • עוזר אישי ללא סינונים

    מתאים לביצוע משימות ישירות כשנמאס מהטפות מוסר או מסירובים גנריים על שאלות ניטרליות.

  • סוכן אוטומטי מבוסס הנחיות

    צייתנות גבוהה לפרומפט מאפשרת להפעיל תהליכים מוגדרים היטב בפורמט ChatML.

איפה זה נופל

החיסרון המרכזי כאן הוא חוסר הסינון המוחלט. המודל יענה על הכל, כולל בקשות מזיקות, לא אתיות או מסוכנות, ולכן חובה להקים שכבת סינון משלכם אם אתם חושפים אותו למשתמשי קצה. בנוסף, המודל מוגדר כדובר אנגלית בלבד, ואין שום התחייבות ליכולות סבירות בעברית. היעדר אימון DPO דורש תחזוקה צמודה של פרומפטים כדי למנוע סטיות באיכות.

שאלות
נפוצות

האם המודל יסרב לענות על שאלות רגישות?

לא, הסינון הוסר לחלוטין מתהליך האימון. הוא יבצע כל הוראה שתתנו לו, ולכן אם אתם פותחים אותו למשתמשים חיצוניים, תצטרכו לבנות מנגנון הגנה משלכם.

באיזה אורך טקסט אפשר להשתמש בפועל?

למרות שארכיטקטורת הבסיס תומכת בעד 32,768 טוקנים, הכיוונון הספציפי אומן על 16k טוקנים בלבד. מעבר לטווח הזה האיכות עלולה לרדת.

איך מריצים

כדי להריץ את המודל המלא במבנה bfloat16 תצטרכו להוריד 87 גיגה-בייט של קבצים ולהחזיק שרת עם מספר כרטיסי מסך חזקים. הטעינה נעשית דרך ספריית transformers ודורשת הפעלה של trust_remote_code. למרות שבסיס המודל תומך ב־32k, הכיוונון הנוכחי אומן בפועל על חלון של 16k טוקנים.

אם אין לכם חומרת שרת ייעודית, עדיף לחפש גרסאות מכווצות או שירות ענן שמחזיק אותו. להרים קלאסטר פרטי בשביל מודל כזה זו הרפתקה יקרה מאוד שמצדיקה את עצמה רק אם הפרטיות המוחלטת של הנתונים קריטית לפרויקט.

from transformers import pipeline

pipe = pipeline("text-generation", model="dphn/dolphin-2.6-mixtral-8x7b")
print(pipe("שלום"))

הקבצים

29 קבצים במאגר, 87.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, מה שאומר שמותר להשתמש בו לצרכים מסחריים, לשנות אותו ולהפיץ אותו ללא תשלום תמלוגים. התנאי העיקרי הוא מתן קרדיט ושמירה על הודעות הרישיון המקוריות. האחריות על התכנים שהמודל מייצר נופלת כולה עליכם.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗