TieFighter-Holodeck-Holomax-Mythomax-F1-V1-COMPOS-20B-gguf

קוד פתוח

DavidAUapache-2.02024-05-18

gguf
not-for-all-audiences
art
creative
roleplay

שילוב שכבות מותאם אישית של ארבעה מודלי 13B שהורחב ל־20B, ומיועד כולו לכתיבה יצירתית פרועה, סיפורים ארוכים ומשחקי תפקידים באנגלית.

126 GBמשקל הקבצים
3,017הורדות בחודש
55לייקים

מה זה

הפרויקט מחבר שכבות מתוך ארבעה מודלים מוכרים בתחום התוכן הבדיוני, ביניהם TieFighter ו־MythoMax, בשיטה שהמפתח מכנה composite. במקום לבצע מיזוג מתמטי רגיל שנוטה למחוק סגנונות ייחודיים, המודל נבנה בפריסה של מוח מרכזי ושלושה תתי־מוחות שמגיעים לנפח של 20 מיליארד פרמטרים. המטרה כאן הפוכה ממודלי עבודה רגילים. הוא מתוכנן לשבור תחזיות צפויות, להמציא מילים ועולמות, ולהשתמש בסרקזם והומור.

המבחנים מראים שהפלט שלו מגיע ליותר מ־1,500 תווים בלי לבקש, אפילו בטמפרטורה אפס, שזה נתון חריג למודלים בגודל כזה. הוא מייצר טקסט ארוך, תיאורי ועקבי בלי לקרוס לתבניות שחוזרות על עצמן, אבל סגנון הכתיבה שלו אינטנסיבי ועמוס מאוד בדיאלוגים ואקשן.

מתאים ל

כתיבת סיפורת וסצנות אקשן
מייצר קטעי עלילה של מעל 1500 תווים עם יצירתיות גבוהה וסגנון עשיר מתוך פרומפטים קצרים מאוד.
משחקי תפקידים ב־KoboldCpp
מתאים לדמויות עם סרקזם, תגובות אנושיות לא צפויות ויכולת לפתח דיאלוגים מורכבים.
סיעור מוחות לפנטזיה ומד"ב
ממציא מושגים, עולמות בדיוניים ותיאוריות מופרכות בלי ליפול לתשובות שבלוניות של מודלי שיחה רגילים.

איפה זה נופל

זה לא כלי לקוד, סיכום מסמכים או עבודה משרדית. הוא נוטה לפטפוט מוגזם, מקלל לפעמים, וממציא עובדות בביטחון מלא. חלון ההקשר שלו נעצר סביב 4096 עד 4700 תווים, כך שהוא מוגבל מאוד מול מודלים מודרניים. בנוסף, הוא נבנה ואומן באנגלית, כך שאין מה לצפות לביצועים סבירים בעברית.

שאלות
נפוצות

למה המודל מגיע לנפח של 20B אם מקורות הבסיס שלו הם 13B?

היוצר חיבר שכבות נבחרות מכמה מודלים בשיטה שמגדילה את מספר הפרמטרים, במטרה לתת למודל שטח פעולה רחב יותר לחיבור הסגנונות בלי לאבד את הייחוד של כל מקור.

האם המודל יכתוב תשובות קצרות אם אבקש ממנו?

הוא מתקשה בזה מאוד. הכוונון שלו דוחף לפטפטנות ופירוט יתר, ולעיתים קרובות הוא חוצה את ה־1500 תווים גם כשמבקשים ממנו משהו תמציתי או מריצים אותו בטמפרטורה אפס.

איך מריצים

כדי להריץ אותו מקומית צריך מנוע שמבוסס על llama.cpp, כמו KoboldCpp, LM Studio או text-generation-webui. מודל 20B בקוונטיזציה של Q4 או IQ4 דורש כרטיס מסך עם לפחות 16GB זיכרון כדי לרוץ בצורה חלקה, או 24GB אם רוצים קוונט כבד כמו Q5 ו־Q6 יחד עם הקשר מלא.

המפתח ממליץ להגדיר smoothing_factor בערכים שבין 1.5 ל־2.5, או להעלות את ה־repetition penalty כדי לשמור על יציבות. מי שמחפש הרצה זולה בלי לקנות חומרה ייעודית יגלה שאין לו שירותי ענן מוכנים מראש עם API פתוח, כי מדובר במודל קהילתי ניסיוני שמיועד בעיקר להרצה ביתית.

ollama run hf.co/DavidAU/TieFighter-Holodeck-Holomax-Mythomax-F1-V1-COMPOS-20B-gguf:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_021.2 GB Q6_K16.4 GB Q5_K_M14.2 GB Q5_K_S13.8 GB Q4_K_M12.0 GB Q4_K_S11.4 GB IQ4_NL11.3 GB IQ4_XS10.7 GB IQ3_M9.2 GB IQ3_XS8.2 GB IQ2_M6.9 GB

הקבצים

14 קבצים במאגר, 126 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו, בתנאי ששומרים על הודעות זכויות היוצרים ומצרפים עותק של הרישיון המקורי. השימוש חופשי לחלוטין למי שרוצה לשלב אותו בפרויקט עצמאי.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗