stablelm-3b-4e1t

מה זה

מדובר במודל שפה גולמי מסוג אוטורגרסיבי, שאומן במשך 4 תקופות אימון על טריליון טוקנים ממאגרי רשת וקוד כמו Falcon RefinedWeb, RedPajama, The Pile ו־StarCoder. הוא משתמש בארכיטקטורה דמוית LLaMA עם 32 שכבות וחלון הקשר של 4,096 טוקנים, כולל שילוב של Rotary Embeddings ו־LayerNorm.

התוצאות במבחני הביצועים מראות פערים ברורים. הוא מוציא 75.94 ב־HellaSwag ו־71.19 ב־Winogrande, מה שמראה יכולת הבנה והשלמת טקסט סבירה מאוד לגודל שלו. לעומת זאת, עם 45.23 ב־MMLU וציון חלש מאוד של 3.34 ב־GSM8k, ברור שהוא לא יודע להתמודד עם מתמטיקה או היגיון מורכב ישר מהקופסה.

מתאים ל

• בסיס להתאמה אישית

  נקודת מוצא זולה לאימון Fine-tuning על משימות ייעודיות באנגלית או על קוד, בלי צורך בחוות שרתים.

• השלמת קוד מקומית

  הוא אומן על StarCoder ורץ על מחשב אישי, מה שמתאים לניסויים בהשלמת קוד אופליין.

• מחקר על מודלים קטנים

  אידיאלי לבדיקת ארכיטקטורות ושיטות אימון על מודל פתוח שקל לטעון ולשנות.

איפה זה נופל

זהו מודל בסיס ולא מודל שעבר התאמה לשיחה או להנחיות. אם תתנו לו שאלה, הוא ינסה להמשיך את הטקסט ולא בהכרח יענה עליה. הוא נתמך באנגלית בלבד ואין לו שום אימון על עברית, כך שניסיון להשתמש בו בארץ ידרוש אימון ייעודי מאפס.

בנוסף, הכרטיס מציין במפורש שהדאטהסט הכיל תוכן לא מסונן מהרשת, כך שהפלט יכול להיות לא אמין או פוגעני. ציון ה־TruthfulQA שלו עומד על 37.20 בלבד, מה שאומר שהוא ממציא עובדות בתדירות גבוהה, והוא נכשל לחלוטין במשימות חישוב.

איך מריצים

בדיוק של bfloat16 הקבצים שוקלים 5.2 גיגה-בייט, כך שאפשר להריץ אותו בקלות על כרטיס מסך צרכני פשוט עם 6 עד 8 גיגה-בייט של זיכרון גרפי. הוא נתמך ישירות בספריית transformers, וכולל אפשרות להפעלה עם Flash Attention 2 לשיפור המהירות.

אם כל מה שאתם צריכים זה שירות צ'אט כללי או השלמות פשוטות מדי פעם, עדיף להשתמש ב־API קיים של חברות ענן במקום לתחזק שרת. היתרון בהרצה עצמית כאן בא לידי ביטוי רק אם אתם חייבים שהמידע יישאר מקומית או מתכננים לעשות לו התאמה אישית מדויקת.

from transformers import pipeline

pipe = pipeline("text-generation", model="stabilityai/stablelm-3b-4e1t")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 5.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors5.6 GB
• tokenizer.json2.1 MB
• modeling_stablelm.py63.1 KB
• README.md9.9 KB
• configuration_stablelm.py9.1 KB
• .gitattributes1.5 KB
• config.json599 B
• tokenizer_config.json264 B
• generation_config.json111 B
• special_tokens_map.json99 B

הרישיון

הרישיון הוא CC BY-SA 4.0. הוא מאפשר שימוש מסחרי, אבל מחייב לתת קרדיט ליוצרים, לציין אם נעשו שינויים, והכי חשוב, להפיץ כל נגזרת או שינוי של המודל תחת אותו רישיון בדיוק. אם אתם רוצים לשמור שינויים שעשיתם במודל כקוד סגור, הרישיון הזה בעייתי.

• שימוש מסחרי
• שינוי הקוד
• חובת שיתוף באותו רישיון

הרישיון המלא בעמוד המודל ↗