stablelm-base-alpha-7b

מה זה

מדובר במודל שפה גנרטיבי של שבעה מיליארד פרמטרים מבית Stability AI, שמבוסס על ארכיטקטורת GPT-NeoX. הוא אומן על סט נתונים נסיוני באנגלית שמבוסס על The Pile והגיע לגודל של כ־1.5 טריליון טוקנים, פי שלושה מהמאגר המקורי. המטרה העיקרית שלו בזמן השחרור הייתה להציע חלון הקשר של 4,096 טוקנים, שהיה רחב יחסית לחלופות הפתוחות באותה תקופה.

הוא מוגדר כמודל בסיס, כלומר הוא מאומן רק על חיזוי הטוקן הבא ולא עבר אימון מענה להוראות או שיחה. בגלל זה הוא בעיקר משלים טקסט קיים. stabilityai עצמם מציינים שהגרסה הזו הוחלפה כבר בסדרות חדשות יותר, כך שהערך שלו היום הוא בעיקר למי שחוקר את הארכיטקטורה הספציפית הזו או צריך נקודת מוצא מוכרת לכוונון עדין.

מתאים ל

• אימון ייעודי באנגלית

  משמש כבסיס גולמי שעליו אפשר לבצע fine-tuning למשימות ספציפיות כמו סיווג או הפקת דוחות באנגלית.

• מחקר על GPT-NeoX

  מתאים לחוקרים שרוצים לבחון את התנהגות הארכיטקטורה של EleutherAI על גבי 1.5 טריליון טוקנים.

• השלמת מסמכים ארוכים

  חלון של 4,096 טוקנים מאפשר להזין טקסט ראשוני ארוך יחסית ולקבל השלמה רציפה באותו סגנון.

איפה זה נופל

היוצרים מזהירים במפורש שהדאטה שעליו הוא אומן הכיל תוכן פוגעני ולא הולם למרות ניסיונות הסינון, והדבר עלול לצוף בטקסט שהוא פולט. הוא לא עבר התאמה לשיחה, ולכן אם תזרקו לו שאלה רגילה תקבלו כנראה המשך של השאלה ולא תשובה מועילה. בנוסף, המודל אומן באנגלית בלבד ואין לו שום תמיכה רשמית בעברית, כך שהוא לא מתאים למשימות מקומיות בלי אימון מקיף מהיסוד.

אותה משפחה

stablelm-base-alpha יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים מגיע לכמעט 30 גיגהבייט כי הם שמורים בפורמט float32. כדי להריץ אותו בפועל מורידים אותו ישירות דרך ספריית transformers וטוענים אותו לזיכרון ה־GPU בחצי דיוק באמצעות half, מה שחותך את צריכת ה־VRAM לכ־14 עד 15 גיגהבייט. זה אומר שתצטרכו כרטיס מסך ייעודי עם לפחות 16 גיגהבייט זיכרון רק כדי לטעון אותו, או שתאלצו להשתמש בקוונטיזציה.

אם אתם לא מתכננים לעשות לו fine-tuning בעצמכם על דאטה ייעודי, אין שום סיבה אמיתית להחזיק שרת יקר ולהריץ אותו מקומית. עבור בדיקות מהירות או קבלת טקסט מוכן, שירותי API של מודלים מודרניים יתנו תוצאה עדיפה בהרבה ובלי כאב הראש של ניהול חומרה.

from transformers import pipeline

pipe = pipeline("text-generation", model="stabilityai/stablelm-base-alpha-7b")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 29.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00004.bin9.8 GB
• pytorch_model-00002-of-00004.bin9.8 GB
• pytorch_model-00003-of-00004.bin9.7 GB
• pytorch_model-00004-of-00004.bin2.4 GB
• tokenizer.json2.1 MB
• pytorch_model.bin.index.json21.1 KB
• README.md4.1 KB
• .gitattributes1.5 KB
• config.json705 B
• tokenizer_config.json264 B
• generation_config.json111 B
• special_tokens_map.json99 B

הרישיון

הרישיון הוא CC BY-SA 4.0. מותר להשתמש בו לצרכים מסחריים, אבל חובה לתת קרדיט ל־Stability AI, לקשר לרישיון ולציין אם בוצעו שינויים. המלכוד העיקרי הוא סעיף ה־ShareAlike, אם אתם משנים את המודל או מאמנים עליו גרסה נגזרת, אתם מחויבים להפיץ את המשקלים החדשים תחת אותו רישיון חופשי בדיוק.

• שימוש מסחרי
• שינוי הקוד
• חובת שיתוף באותו רישיון

הרישיון המלא בעמוד המודל ↗