GPT
הוספת כלי
N

NemoMix-Unleashed-12B

קוד פתוח

MarinaraSpaghettiapache-2.02024-08-21

  • transformers
  • safetensors
  • mistral
  • text-generation
  • mergekit

מיזוג של חמישה מודלים שמבוססים על Mistral-Nemo בנפח 12B. הוא נבנה בעיקר לכתיבה יצירתית ומשחקי תפקידים עם פחות חזרתיות בהקשרים ארוכים.

  • 12Bפרמטרים
  • 1,024,000טוקנים בהקשר
  • 22.8 GBמשקל הקבצים
  • 406הורדות בחודש

מה זה

היוצר לקח את מודל הבסיס Mistral-Nemo-Base-2407 ומיזג לתוכו חמישה עיבודים שונים בשיטת della_linear. בין הדגמים שנכנסו לתערובת תמצאו את גרסת ה־Instruct הרשמית, לצד מודלים קהילתיים פופולריים כמו mini-magnum, Lyra ו־gutenberg. המטרה היתה ליצור מודל שמיועד לכתיבת סיפורים ומשחקי תפקידים, בלי הנטייה המעצבנת לחזור על ביטויים שוב ושוב בטקסטים ארוכים.

אין כאן ציוני בנצ'מרק רשמיים או בדיקות ביצועים מדעיות, רק עדות של המפתח על שיפור בעבודה מול הקשרים גבוהים. השילוב הזה שומר על ארכיטקטורת Mistral ומיועד למי שמחפש טקסט זורם ועשיר יותר מהסגנון היבש של מודלי ההוראות הרגילים.

מתאים ל

  • משחקי תפקידים מבוססי טקסט

    המיזוג נבנה ספציפית לסגנון הזה ושומר על עקביות בלי לחזור על עצמו בהקשרים ארוכים.

  • כתיבת סיפורים ועלילות

    שילוב המודלים הספרותיים בתערובת מעניק לו סגנון כתיבה עשיר ופחות יבש ממודל שיחה רגיל.

  • עוזר מקומי ביצירת תוכן

    רץ מקומית דרך קוונטים ב־GGUF בלי לשלוח את הטקסטים היצירתיים לשירותי ענן חיצוניים.

איפה זה נופל

זה מודל שנבנה סביב יצירתיות, ולכן לא הייתי מפקיד בידיו משימות של שליפת עובדות מדויקות או ניתוח נתונים קריטי. מפתחים שערבבו מודלים כאלה נתקלו בבעיות בגלל חוסר תאימות בטוקנייזרים, ולמרות שכאן נלקח הטוקנייזר של מודל הבסיס, מיזוגים מהסוג הזה עלולים לייצר חוסר יציבות בהבנת הוראות נוקשות.

ההסתמכות היא כולה על התאמת פרמטרי הדגימה. אם לא תגדירו בדיוק את הפורמט של Mistral וערכי דגימה מתאימים, אתם עלולים לקבל טקסט לא קוהרנטי. אין כאן שום הבטחה לבטיחות או סינון תכנים.

שאלות
נפוצות

איזה מבנה פרומפט צריך לשלוח לו כדי שלא יתבלבל?

הוא משתמש בתבנית Mistral Instruct, כשהוראת המערכת והודעת המשתמש נסגרות כל אחת בתוך תגיות INST ייעודיות עם מפרידי s בהתחלה ובסוף. אם תשתמשו במבנה ChatML רגיל, המודל פשוט יאבד את הצפון וייצר תוצאות גרועות.

האם אפשר להריץ אותו על מחשב ביתי בלי כרטיס יקר?

המשקל המקורי כבד מדי לכרטיס ביתי פשוט, אבל בעמוד יש הפניות לגרסאות מקוונטות בפורמט GGUF ו־EXL2. הגרסאות האלה מאפשרות להריץ את 12 מיליארד הפרמטרים שלו גם על מחשבים עם פחות זיכרון גרפי.

איך מריצים

במשקל מלא של 22.8 ג'יגה בייט בפורמט bfloat16, תצטרכו כרטיס מסך עם לפחות 24 ג'יגה זיכרון כדי להריץ אותו כמו שהוא. אם אין לכם חומרה כזו, עדיף להוריד את גרסאות ה־GGUF או ה־EXL2 שנוצרו בקהילה ומוזכרות בעמוד, שמאפשרות להריץ אותו בכיף גם על כרטיסים ביתיים חלשים יותר או לשלב זיכרון מערכת.

שימו לב לפרומפט. המודל עובד לפי תבנית Mistral Instruct ספציפית מאוד, עם תגיות INST מסוימות להוראת המערכת ולהודעות המשתמש. היוצר ממליץ על טמפרטורה יחסית גבוהה של 1.0 עד 1.25, יחד עם Top A של 0.1 או Min P, כדי לקבל תוצאות טובות בלי להשתגע.

from transformers import pipeline

pipe = pipeline("text-generation", model="MarinaraSpaghetti/NemoMix-Unleashed-12B")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 22.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מפורסם ברישיון apache-2.0. זהו רישיון פתוח ומתירני שמאפשר לכם להשתמש בו, לשנות אותו ואף לשלב אותו במוצרים מסחריים בלי לשלם תמלוגים, כל עוד אתם שומרים על הודעת זכויות היוצרים והרישיון המקורי בקבצים שלכם.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗