mpt-7b-storywriter-4bit-128g
קוד פתוחOccamRazorרישיון לא דווח2023-05-06
גרסה מכווצת בארבעה ביט למודל שתוכנן לקרוא ולכתוב סיפורים ארוכים במיוחד. הוא מתאים למי שרוצה לעבד טקסטים של עשרות אלפי מילים על חומרה ביתית צנועה יחסית.
- 65,536טוקנים בהקשר
- 3.6 GBמשקל הקבצים
- 157הורדות בחודש
- 127לייקים
מה זה
מדובר בהמרה של MPT-7B-StoryWriter, שעבר אימון ייעודי על ספרות מתוך books3 כדי להתמודד עם הקשר של 65,536 טוקנים. בזכות שימוש בשיטת ALiBi במקום קידוד מיקום רגיל, הוא מסוגל תיאורטית למתוח את הקריאה והכתיבה אפילו מעבר לטווח הזה, עד לאזור 84 אלף טוקנים כפי שהדגימו המפתחים המקוריים על שרת ייעודי.
הייחוד כאן הוא השילוב בין חלון ענק למשקל קל. במקור מודל כזה תופס משאבים כבדים מאוד, אבל הגרסה הזו כווצה לארבעה ביט במיוחד עבור KoboldAI, מה שחותך את נפח הקבצים לכ־3.6 גיגה-בייט בלבד ב־8 קבצים.
מתאים ל
- המשך כתיבת רומנים
קריאת ספר שלם והמשך כתיבת פרקים בסגנון המחבר בזכות חלון של 65k טוקנים.
- משחקי תפקידים מקומיים
הרצה מקומית ב־KoboldAI תוך שמירה על זיכרון עלילתי ארוך מאוד ב־3.6GB.
- ניתוח עלילה של יצירות
הזנת ספרים שלמים לצורך עיבוד סיפורי רציף בלי לחתוך את הטקסט לחלקים.
איפה זה נופל
המודל אומן על סיפורת בלבד ואינו מיועד למתן עובדות, מחקר או שליפת מידע מדויק. הוא נוטה להזיות עובדתיות ומסוגל לייצר תוכן פוגעני, מוטה או בוטה שנשאר מהאימון על טקסטים ציבוריים. בנוסף, מי שבונה עליו בעברית צריך לזכור שהוא משתמש בטוקנייזר של gpt-neox-20b שאומן על אנגלית, ולכן טקסט בעברית יתנפח להמון טוקנים ויגמור את חלון ההקשר הרבה יותר מהר.
שאלות
נפוצות
האם אפשר להריץ אותו על מחשב ביתי רגיל?
כן, המשקל של 3.6 גיגה-בייט מתאים לכרטיסי מסך ביתיים עם 6 עד 8 גיגה זיכרון. עם זאת, אם תנסו לנצל את כל 65 אלף הטוקנים של ההקשר, הזיכרון יגמר במהירות בגלל שמירת נתוני הקשב.
האם המודל מתאים לשימוש כעוזר אישי או צ'אט כללי?
לא, הוא אומן על סיפורת ומייצר המשכי טקסט ולא תשובות לשאלות. הוא לא יעיל בפתרון בעיות, במתן מידע עובדתי או בניתוח לוגי.
איך מריצים
כדי להריץ אותו צריך לתמוך בפורק של KoboldAI לארבעה ביט, או לטעון אותו דרך transformers עם הגדרת trust_remote_code=True בגלל מבנה הרשת הלא שגרתי שלו. בנפח של 3.6 גיגה-בייט אפשר להעלות אותו לכרטיס מסך ביתי בודד עם 6 או 8 גיגה זיכרון, אבל ניצול של מלוא חלון ההקשר ידרוש משמעותית יותר זיכרון עבור ה־KV cache.
אם אתם מתכננים להזין 65 אלף טוקנים מלאים ולא רק לכתוב קטעים קצרים, כרטיס ביתי יחיד ייחנק מהר מאוד. במקרים שבהם אין לכם מערך שרתים כבד כמו שמוזכר בבדיקות של MosaicML, פנייה ל־API חיצוני תחסוך את כאב הראש של ניהול הזיכרון.
from transformers import pipeline
pipe = pipeline("text-generation", model="OccamRazor/mpt-7b-storywriter-4bit-128g")
print(pipe("שלום"))הקבצים
8 קבצים במאגר, 3.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
בדף המודל הספציפי הזה לא דווח רישיון מוגדר, אף על פי שבטקסט של MosaicML מצוין רישיון Apache-2.0 למודל המקור. בלי הצהרת רישיון רשמית ומחייבת של מי שביצע את ההמרה לארבעה ביט, שילוב של המשקלים האלה במוצר מסחרי חושף אתכם לסיכון משפטי לא פתור.