GPT
הוספת כלי
M

MN-12B-Mag-Mell-R1

קוד פתוח

inflatebotרישיון לא דווח2024-09-16

  • transformers
  • safetensors
  • mistral
  • text-generation
  • mergekit

שילוב רב-שלבי של שבעה מודלים שונים על בסיס מיסטרל נמו, שמכוון ישירות לכתיבה יצירתית ומשחקי תפקידים. הוא מנסה לתת פרוזה עשירה בלי ליפול לניסוחים קבועים ומשעממים.

  • 12Bפרמטרים
  • 1,024,000טוקנים בהקשר
  • 22.8 GBמשקל הקבצים
  • 3,116הורדות בחודש

מה זה

מדובר במיזוג מורכב שנוצר באמצעות Mergekit על גבי בסיס של Mistral Nemo 12B בפורמט ChatML. היוצר חילק ששה מודלים מכווננים לשלושה צמדים שמוזגו בשיטת SLERP: צמד אחד למשחקי תפקידים, צמד שני להיגיון ועובדות, וצמד שלישי לסגנון כתיבה ופרוזה. לאחר מכן, שלוש התוצאות אוחדו לתוך מודל הבסיס בשיטת DARE-TIES כדי למזער התנגשויות בין המאפיינים השונים.

בניגוד לרוב המיזוגים הפשוטים בגודל הזה, המטרה כאן היתה לייצר כלי רחב לעולמות בדיוניים שלא נשען על כוונון עדין נוסף. הדגש הוא על בניית עולמות עשירה ודימויים מקוריים, בלי הטקסט השבלוני שמאפיין לעיתים קרובות מודלים מאומנים מראש.

מתאים ל

  • משחקי תפקידים מבוססי טקסט

    הוא ממזג מודלים יעודיים לז'אנר ומחזיק דמויות ועלילה בלי ליפול לביטויים שבלוניים.

  • בניית עולמות ופנטזיה

    השילוב מייצר דימויים מורכבים ותיאורי סביבה עשירים מעבר לבסיס הרגיל של מיסטרל.

  • כתיבה בדיונית חופשית

    פועל היטב בהגדרות יצירתיות פתוחות עם חלון הקשר ארוך שמאפשר מעקב אחרי סיפורים מתמשכים.

איפה זה נופל

המודל רגיש מאוד לדוגמי פלט. הכרטיס מציין מפורשות שדוגם מסוג XTC שובר את הטקסט לחלוטין, ורצוי להימנע מדוגמי ענישה אחרים. בגרסאות מוקדמות נרשמה זליגת טוקנים, וכימות של זיכרון המטמון (Cache Quantization) עלול לגרום לזה שוב או להחמיר את הבעיה.

שאלות
נפוצות

איזה פורמט הנחיה המודל דורש?

הוא נבנה על גרסת בסיס מותאמת ל־ChatML ולכן מומלץ להשתמש בתבנית הזו. שימוש בתבניות אחרות עלול לגרום לבעיות עקביות או לפליטת טוקנים לא רצויים.

האם המודל קשור ל־R1 של חברת DeepSeek?

לא, הקיצור R1 מייצג רוויזיה ראשונה בלבד. המודל הזה פורסם בספטמבר 2024, חודשים לפני ש־DeepSeek הוציאו את המודל המוכר שלהם בשם הזה.

איך מריצים

המשקל המקורי עומד על כמעט 23 גיגה-בייט בפורמט bfloat16, כך שצריך כרטיס עם 24 גיגה-בייט זיכרון גרפי כדי לטעון אותו במלואו. למי שאין חומרה כזו, ישנן גרסאות מכומתות כמו GGUF במדרגות Q4, Q6 ו־Q8, לצד גרסאות EXL2 שרצות ביעילות על כרטיסים צרכניים חלשים יותר.

היוצר ממליץ לעבוד עם טמפרטורה יחסית גבוהה של 1.25 וערך MinP של 0.2, שנשארים יציבים עד עשרת אלפים טוקנים. אם פלט מתחיל להתפזר, כדאי להוריד טמפרטורה ולהעלות את MinP במקום להעמיס פילטרים אחרים.

from transformers import pipeline

pipe = pipeline("text-generation", model="inflatebot/MN-12B-Mag-Mell-R1")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 22.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

היוצר לא ציין שום רישיון בעמוד המודל. במצב כזה אין הרשאה מפורשת לשימוש מסחרי, מה שמונע שילוב שלו במוצר סגור או הפצה רשמית עד שהסטטוס המשפטי יובהר מול המפתח.

הרישיון המלא בעמוד המודל ↗