GPT
הוספת כלי
M

MythoMax-L2-13b

קוד פתוח

Grypheother2023-08-10

  • transformers
  • pytorch
  • llama
  • text-generation
  • en

שילוב ניסיוני של שני מודלים שנועד לכתיבת סיפורים ומשחקי תפקידים. הוא נבנה כדי לתת עקביות גבוהה בטקסט יצירתי באנגלית בלי שתצטרכו מודל ענק.

  • 4,096טוקנים בהקשר
  • 24.2 GBמשקל הקבצים
  • 1,593הורדות בחודש
  • 403לייקים

מה זה

מדובר במיזוג של MythoLogic ושל Huginn ברמת הטנסורים, שיטה שבה היוצר שילב 363 טנסורים שונים ביחסים משתנים כדי להרוויח את יכולת ההבנה של הראשון ואת איכות הכתיבה של השני. המטרה כאן היא יצירת טקסט עלילתי שלא מאבד את חוט המחשבה באמצע, משהו שמודלים רגילים בגודל הזה מתקשים בו.

היוצר עצמו מציין שעם יציאת Llama 3 המודל הזה מפנה את מקומו, כך שברור שמדובר בטכנולוגיה מדור קודם. למרות זאת, למי שמחפש מודל 13B שמכוון ספציפית לדיאלוגים ולמשחקי תפקידים, השילוב המדויק שנעשה כאן עדיין נותן אופי כתיבה ייחודי שלא תמיד מקבלים במודלים כלליים יותר.

מתאים ל

  • משחקי תפקידים ודיאלוגים

    המיזוג נבנה כדי להחזיק אישיות של דמות לאורך שיחה באנגלית לפי תבנית Alpaca.

  • כתיבת סיפורים ועלילה

    שילוב הטנסורים של Huginn נועד לתת זרימה טבעית ורציפה לכתיבה יוצרת.

  • בוטים יצירתיים מקומיים

    מתאים למי שמריץ שרת מקומי ורוצה תגובות עם אופי פחות רובוטי ממודלים רגילים.

איפה זה נופל

היוצר עצמו מבהיר שהמודל מתיישן מול Llama 3, כך שאין כאן ביצועים בחזית הטכנולוגיה. חלון ההקשר מוגבל ל־4,096 טוקנים בלבד, מה שמגביל מאוד שיחות ארוכות או ניתוח של טקסטים כבדים. בנוסף, הוא אומן ותוכנן לאנגלית בלבד, ואינו מתאים לעבודה בעברית. אל תבנו עליו למשימות היגיון מורכבות, חילוץ מידע או קוד, כי הוא כוונן באופן מובהק ליצירתיות ודיאלוגים ולא לדיוק עובדתי.

שאלות
נפוצות

האם המודל הזה תומך בעברית?

לא. המודל מוגדר ומאומן באנגלית בלבד. אם תנסו לכתוב לו בעברית תקבלו תוצאות שבורות, לא מדויקות או חוסר הבנה מוחלט של ההקשר.

למה להשתמש בו אם Llama 3 כבר בחוץ?

היוצר עצמו מודה שהוא מאבד רלוונטיות, אבל סגנון הכתיבה שנוצר מהמיזוג הידני הספציפי הזה עדיין מושך אנשים שמחפשים טון מסוים במשחקי תפקידים. לכל שימוש טכני או כללי אחר, עדיף לבחור במודל חדש יותר.

איזה פרומפט צריך לשלוח לו?

הוא פועל בצורה המיטבית עם הפורמט של Alpaca. מגדירים את הדמות בחלק העליון, ולאחר מכן משתמשים בתגיות של Instruction ושל Response כדי לקבל תשובה בודדת וממוקדת.

איך מריצים

כדי להריץ את גרסת המקור בפורמט float16 תצטרכו לפחות 24 גיגה בייט של זיכרון כרטיס מסך, מה שמחייב חומרה מקצועית או כרטיס כמו RTX 3090 ומעלה. אם אין לכם חומרה כזו, קיימות גרסאות מכווצות שיצר TheBloke בפורמטים כמו GGUF או GPTQ, שמאפשרות להריץ אותו על מחשבים אישיים עם פחות משאבים.

המודל מגיב הכי טוב למבנה הפרומפט של Alpaca, עם חלוקה להוראה ומענה. אם אתם לא רוצים להחזיק שרת ייעודי רק בשביל ניסויי כתיבה, עדיף להשתמש בפתרון ענן שגובה לפי שעה או שימוש.

from transformers import pipeline

pipe = pipeline("text-generation", model="Gryphe/MythoMax-L2-13b")
print(pipe("שלום"))

הקבצים

22 קבצים במאגר, 24.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כ־other ללא פירוט של תנאי השימוש בכרטיס המודל. במצב כזה אי אפשר לדעת אם מותר להשתמש בו לצרכים מסחריים, מה המגבלות על הפצה ומה הזכויות שנגזרות מהמודלים שמוזגו לתוכו. לשימוש מסחרי בתוך מוצר לא הייתי נוגע בו בלי לברר קודם את תנאי הרישיונות של מודלי המקור.

הרישיון המלא בעמוד המודל ↗