GPT
הוספת כלי
D

dolphin-2.9.2-mixtral-8x22b

קוד פתוח

dphnapache-2.02024-05-28

  • transformers
  • safetensors
  • mixtral
  • text-generation
  • generated_from_trainer

גרסה לא מצונזרת וענקית של Mixtral שמיועדת למי שחייב ציות עיוור להוראות סיסטם וקוד מורכב. הוא לא מסרב לשום בקשה, אבל דורש חומרת שרתים רצינית כדי לזוז.

  • 141Bפרמטרים
  • 65,536טוקנים בהקשר
  • 262 GBמשקל הקבצים
  • 8,382הורדות בחודש

מה זה

מדובר בכיוונון של Mixtral 8x22B שעבר אימון על בסיס נתונים שסוננו מראש מכל ניסיון יישור ערכי או צנזורה. המטרה כאן ברורה, לייצר מודל צייתן לחלוטין שמבצע בדיוק מה שמבקשים ממנו בפורמט ChatML, כולל יכולות סוכן ראשוניות וקריאות לפונקציות. החידוש בגרסה 2.9.2 מתמקד בדאטהסט בשם SystemChat 2.0, שנועד לכפות על המודל להמשיך להישמע להנחיות הסיסטם המקוריות גם כשהשיחה נהיית ארוכה ומפותלת.

האימון בוצע על חצי מהפרמטרים באמצעות טכניקת לייזר ממוקדת באורך רצף של 16 אלף טוקנים, למרות שהבסיס תומך בעד 64 אלף. הוא מציג יכולות שיחה, כתיבת קוד ומענה טכני, כשהיתרון הגדול שלו מול מודלים סגורים באותו סדר גודל הוא היעדר מוחלט של מנגנוני סירוב מובנים.

מתאים ל

  • סוכני אוטומציה וקוד

    תמיכה מובנית בזימון פונקציות וציות קפדני להגדרות סיסטם הופכים אותו למתאים למשימות פיתוח מורכבות.

  • מחקר ללא מסננים

    הסרת הצנזורה מאפשרת לבדוק תרחישי קיצון, ניתוח טקסטים רגישים ויצירת דאטה בלי הטיות סירוב מלאכותיות.

  • שיחות ארוכות ומובנות

    אימון SystemChat 2.0 שומר על המודל מיושר עם ההוראות המקוריות גם אחרי עשרות חילופי דברים.

איפה זה נופל

הכרטיס מצהיר על זה במפורש, המודל אינו מצונזר בכלל ויציית לכל פקודה, כולל בקשות לא אתיות או מסוכנות. אם אתם בונים מוצר שחשוף למשתמשי קצה, חובה לבנות שכבת הגנה וסינון משלכם לפני שהפלט יוצא החוצה. בנוסף, האימון עצמו התבצע באורך רצף של 16 אלף טוקנים בלבד, כך שלא בטוח שהביצועים בקצה חלון ההקשר המקורי של 64 אלף ישמרו על אותה רמה. שפת המודל המוגדרת היא אנגלית בלבד.

שאלות
נפוצות

האם המודל יסרב לענות על שאלות בנושאי אבטחה או תוכן פוגעני?

לא. המודל עבר הסרה מכוונת של מנגנוני היישור והבטיחות, והוא מתוכנן לציית לכל הנחיה. האחריות על סינון הפלטים מוטלת עליכם לחלוטין באמצעות שכבות הגנה חיצוניות.

אפשר להריץ אותו על תחנת עבודה עם כרטיס RTX בודד?

לא בגרסה הזו. הקבצים שוקלים 262 גיגה בייט בפורמט המקורי, מה שמחייב שרת עם כמה כרטיסי עיבוד מתקדמים רק כדי להחזיק את המודל בזיכרון.

איך מריצים

כדי להריץ 262 גיגה בייט של משקולות בדיוק bfloat16 דרך transformers, אין מה לפזול לכיוון מחשב ביתי. תצטרכו שרת ייעודי עם מספר כרטיסי H100 או A100 כדי לטעון 141 מיליארד פרמטרים לזיכרון ולקבל מהירות תגובה סבירה.

אם אין לכם אשכול שרתים פרטי שזמין מסביב לשעון, שווה לשקול פתרונות כימות או שירותי ענן שמוכרים גישה למודל לפי שימוש, כי החזקת חומרה כזו לבד שורפת תקציב במהירות.

from transformers import pipeline

pipe = pipeline("text-generation", model="dphn/dolphin-2.9.2-mixtral-8x22b")
print(pipe("שלום"))

הקבצים

72 קבצים במאגר, 262 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 מלא, מה שמאפשר שימוש חופשי כולל שימוש מסחרי, שינוי והפצה של הקוד והמשקולות. עם זאת, היוצרים מציינים שהאימון כלל דאטה שנוצר על ידי GPT4, ומטילים את האחריות המלאה לתוכן שנוצר על מי שמריץ את המודל בפועל.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗