Mythalion-13B-GGUF

קוד פתוח

TheBlokellama22023-09-05

transformers
gguf
llama
text generation
instruct

מיזוג בין Pygmalion-2 לבין MythoMax שנבנה עבור כתיבה יוצרת ומשחקי תפקידים. הוא מיועד למי שמחפש מודל שיחה מקומי שלא מתנצל או מצנזר את עצמו.

91.9 GBמשקל הקבצים
1,172הורדות בחודש
70לייקים

מה זה

המודל הזה משלב שני מודלים פופולריים של 13 מיליארד פרמטרים, במטרה לייצר שותף שיחה יצירתי ואמין למשחקי תפקידים. יוצרי המקור טוענים שמתוך הדיווחים של הנסיינים שלהם, המיזוג עוקף את MythoMax המקורי בביצועי צ'אט וסיפור עלילתי.

במקום להתמקד במשימות קוד או בפתרון בעיות לוגיות, הוא אומן להחזיק דמות לאורך זמן, להגיב בהרחבה ולתמוך בהנחיות בסגנון Alpaca או במבנה התפקידים הייעודי של Pygmalion עם תגיות מערכת, משתמש ומודל. הקבצים כאן הומרו לפורמט GGUF על ידי TheBloke כדי לאפשר הרצה מקומית יעילה על גבי llama.cpp וממשקים מבוססי מעבד או כרטיס מסך ביתי.

מתאים ל

משחקי תפקידים בצ'אט
שומר על אופי הדמות לאורך שיחה ממושכת ומשתמש בתגיות תפקידים ייעודיות לניהול העלילה.
כתיבת סיפורת ודיאלוגים
מייצר תגובות ארוכות ומפורטות יחסית בלי מגבלות צנזורה שמפריעות לזרימת הסיפור.
הרצה מקומית פרטית
רץ ישירות על מחשב אישי או כרטיס מסך בודד ללא תלות ברשת וללא שליחת מידע החוצה.

איפה זה נופל

המודל לא עבר שום תהליך יישור לבטיחות או מיתון תוכן. המפתחים מצהירים בפירוש שהוא אומן על טקסטים שמכילים גסויות ותכנים פוגעניים, כך שהוא עלול לייצר תגובות בוטות גם בלי בקשה מפורשת. בנוסף, הוא סובל מהזיות עובדתיות לעיתים קרובות. הוא מתאים לבידור בלבד, וכל ניסיון להשתמש בו למידע עובדתי, שירות לקוחות או משימות עסקיות ייכשל לחלוטין.

אותה משפחה

Mythalion יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Mythalion-13B-GPTQ187

שאלות
נפוצות

האם המודל מתאים לשיחה בעברית?

הכרטיס מצהיר על תמיכה באנגלית בלבד. המודל עשוי להבין מעט עברית בזכות משקלי הבסיס של Llama 2, אך הפלטים יהיו משובשים ולא עקביים. אם המטרה היא יצירת תוכן בעברית, הוא לא הבחירה הנכונה.

באיזו תבנית פרומפט כדאי להשתמש כדי לקבל תוצאות טובות?

המודל תומך בשתי תבניות עיקריות: Alpaca הפשוטה שמבוססת על הוראה ותגובה, ותבנית Pygmalion שכוללת תגיות של system, user ו־model. למשחקי תפקידים עדיף להשתמש בתבנית Pygmalion שמפרידה נכון בין נתוני הדמות לשיחה השוטפת.

איך מריצים

אין שום סיבה להוריד את כל המאגר ששוקל מעל תשעים גיגה-בייט. בוחרים קובץ בודד לפי החומרה שיש לכם: גרסת Q4_K_M שוקלת 7.87 גיגה-בייט ודורשת בערך 10.37 גיגה-בייט זיכרון להרצה על מעבד, או כרטיס מסך בודד עם 12 גיגה-בייט כדי לטעון את כל השכבות לזיכרון הגרפי. אם יש לכם כרטיס עם 16 גיגה-בייט, אפשר לעלות לגרסת Q5_K_M שמציגה פחות אובדן איכות ב־9.23 גיגה-בייט.

גרסאות ה־2 וה־3 ביט סובלות מפגיעה מורגשת ביכולות הכתיבה ולא מומלצות לשימוש רציני. את ההרצה בפועל אפשר לבצע ישירות דרך ספריות כמו llama-cpp-python ו־ctransformers, או ממשקים גרפיים מקומיים כמו KoboldCpp ו־text-generation-webui שתומכים בפורמט ללא צורך בהגדרות מורכבות.

ollama run hf.co/TheBloke/Mythalion-13B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_013.8 GB Q6_K10.7 GB Q5_K_M9.2 GB Q5_09.0 GB Q5_K_S9.0 GB Q4_K_M7.9 GB Q4_K_S7.4 GB Q4_07.4 GB Q3_K_L6.9 GB Q3_K_M6.3 GB Q3_K_S5.7 GB Q2_K5.4 GB

הקבצים

18 קבצים במאגר, 91.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון llama2 המקורי של חברת מטא. הרישיון מתיר שימוש חופשי הן לצרכים מסחריים והן לפרויקטים אישיים, כל עוד לא מדובר בשירות עם מעל שבע מאות מיליון משתמשים פעילים בחודש. בנוסף, חל איסור להשתמש בפלטים של המודל כדי לאמן מודלי שפה מתחרים. אפשר לשלב אותו במוצרים מסחריים כל עוד עומדים בתנאי השימוש המקובלים של מטא ולא מפרים את מגבלות הרישיון.

שימוש מסחרי עד 700 מיליון משתמשים
שינוי הקוד
חובת ייחוס

הרישיון המלא בעמוד המודל ↗