GPT
הוספת כלי
M

MN-Violet-Lotus-12B

קוד פתוח

FallenMerickcc-by-4.02024-11-16

  • transformers
  • safetensors
  • mistral
  • text-generation
  • storywriting

שילוב של כמה מודלי Mistral-Nemo שמכוון חזק למשחקי תפקידים וכתיבה יוצרת. אם אתם מחפשים מודל שמחזיק דמות בעקביות ומבין ניואנסים רגשיים, שווה לבדוק אותו.

  • 12Bפרמטרים
  • 131,072טוקנים בהקשר
  • 22.8 GBמשקל הקבצים
  • 515הורדות בחודש

מה זה

מדובר במיזוג של ארבעה מודלים שונים שנבנו מעל בסיס של Mistral-Nemo, באמצעות שיטת Model Stock ומיזוג ביניים של SLERP. המטרה כאן ברורה לגמרי: לאפשר כתיבה עלילתית ושיחות עמוקות בלי שהטקסט יהפוך למסטיק מרוח, משהו שמרבה לקרות במודלים שמתמקדים במשחקי תפקידים.

היוצר בחן אותו במבחן EQ מקומי בגרסת 8-ביט וקיבל תוצאה של 80.00 עם פענוח מלא. במילים פשוטות, הוא מתוכנן לקלוט מצבים רגשיים מורכבים ולהגיב אליהם בצורה הגיונית לדמות, במקום לענות כמו נציג שירות טכני. לצד זה, המיזוג משתמש במודלים כמו Mahou שנועדו להגביל פטפוט מיותר ולשמור על תשובות ממוקדות.

מתאים ל

  • משחקי תפקידים וירטואליים

    המיזוג נבנה במיוחד כדי לשמור על אישיות הדמות לאורך שיחה ממושכת ולא ליפול לתשובות גנריות.

  • כתיבת דיאלוגים לסיפורים

    הוא יודע לייצר אינטראקציות רגשיות מורכבות בלי למרוח מילים מיותרות.

  • אימון בוטים אינטראקטיביים

    התאמה טובה לכלים מבוססי טקסט שמחפשים תגובות אנושיות ולא יבשות.

איפה זה נופל

המודל הזה לא נועד למשימות קוד, חילוץ מידע או פתרון בעיות לוגיות מורכבות. הוא מוגדר רשמית רק באנגלית, כך שאין מה לצפות לביצועים סבירים בעברית בלי עיוותים וטעויות. בנוסף, כל המדדים שפורסמו מגיעים מבדיקות מקומיות ואישיות של היוצר ולא ממבחנים חיצוניים מוכרים, לכן חייבים לבדוק ידנית איך הוא מגיב לפרומפטים שלכם לפני שמתבססים עליו.

שאלות
נפוצות

האם המודל יפעל טוב בעברית?

הכרטיס מגדיר תמיכה באנגלית בלבד. המודלים שמהם הוא מורכב אומנו בעיקר על אנגלית, כך שבעברית הוא כנראה ייצר שגיאות או יחזיר תשובות באנגלית.

איך הכי כדאי להריץ אותו בלי שרת חזק?

עדיף להוריד את אחת מגרסאות ה־GGUF הקיימות שהקהילה פרסמה. הן מקטינות את דרישות הזיכרון ומאפשרות להריץ אותו בכלים פשוטים על מחשב אישי.

איך מריצים

המשקל המקורי מגיע ב־bfloat16 ותופס כמעט 23 גיגה-בייט, מה שאומר שתצטרכו כרטיס עם לפחות 24 גיגה-בייט זיכרון כדי לטעון אותו נקי. אם המטרה היא להריץ מקומית בלי חומרה ארגונית, יש ברשת גרסאות מכווצות בפורמט GGUF שמתאימות למחשבים אישיים עם כרטיסי מסך צנועים יותר או אפילו מעבד רגיל.

אם אתם לא רוצים להתעסק עם הגדרות ספציפיות והרצה עצמית, כדאי לשקול קריאה לשרת חיצוני, אבל מאחר שמדובר במודל נישתי שנועד בעיקר לשימוש בתוכנות צ'אט כמו SillyTavern, רוב האנשים מריצים אותו ישירות על המכונה שלהם.

from transformers import pipeline

pipe = pipeline("text-generation", model="FallenMerick/MN-Violet-Lotus-12B")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 22.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא cc-by-4.0. אפשר להשתמש בו לצרכים מסחריים, לשנות אותו ולהפיץ אותו הלאה בכל צורה. התנאי היחיד הוא מתן קרדיט ראוי ליוצר המקורי וציון השינויים שביצעתם.

  • שימוש מסחרי
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗