stablelm-2-1_6b
קוד פתוחstabilityaiother2024-01-18
מודל בסיס קטן של 1.6 מיליארד פרמטרים שרץ בקלות מקומית. הוא מיועד למי שמחפש נקודת מוצא זולה וקלילה לאימון והתאמה אישית, ולא פתרון מוכן לשיחה.
- 1.6Bפרמטרים
- 4,096טוקנים בהקשר
- 3.1 GBמשקל הקבצים
- 6,690הורדות בחודש
מה זה
המודל הזה אומן על שני טריליון טוקנים ממקורות מגוונים של קוד, טקסט רשת ודאטה רב לשוני מאירופה. הוא מבוסס על ארכיטקטורת דקודר דומה לזו של לאמה, אבל כולל שינויים מכוונים בנרמול ובחישוב המיקום כדי לסחוט עוד מהירות ריצה על החומרה שלכם.
בגודל כזה של 1.6 מיליארד פרמטרים, מקבלים משהו שזז מהר מאוד אבל לא מגיע עם יכולות הבנה עמוקות כמו מודלי הענק. הוא מיועד לשמש בסיס להמשך אימון למשימות מוגדרות היטב, ולא כמנוע שעונה ישירות למשתמשי קצה על שאלות כלליות.
מתאים ל
- בסיס לכיוונון משימות ספציפיות
אימון המשך זול על דאטה ייעודי שלכם, שחוסך משאבים ומספק מודל זריז שמבצע פעולה מוגדרת היטב.
- ריצה מקומית על מחשבי קצה
הפעלת משימות השלמת טקסט או סיווג על חומרה חלשה או ישירות במחשב של המפתח בלי תלות ברשת.
- מחקר וניסויי קוד קלים
בדיקת ארכיטקטורות והשפעות אימון על מודל קטן יחסית שאומן על שפע טוקנים ודאטה מבוסס קוד.
איפה זה נופל
זהו מודל בסיס לחלוטין שלא עבר התאמה לשיחה או הנחיות, ולכן הוא יטה לפלוט טקסט לא צפוי, פוגעני או שגוי עובדתית אם לא תאמנו אותו הלאה. שפות האימון המוצהרות שלו הן אנגלית וכמה שפות אירופאיות מרכזיות, כך שעברית לא נתמכת כאן באופן רשמי והוא כנראה יתקשה מאוד להפיק משפטים קוהרנטיים בעברית.
שאלות
נפוצות
האם אפשר להשתמש בו ישירות כצ'אטבוט?
לא, זה מודל בסיס שלא עבר כיוונון להוראות. אם תתנו לו שאלה, הוא ינסה להמשיך את הטקסט כמו מסמך ולא יענה כמו עוזר אישי, אלא אם תאמנו אותו על סט נתונים של שיחות.
איך הוא יתמודד עם עברית?
האימון הרשמי התמקד באנגלית, גרמנית, ספרדית, צרפתית, איטלקית, הולנדית ופורטוגזית. עברית לא מופיעה ברשימת השפות הנתמכות, ולכן לצפות ממנו להבין או לכתוב עברית שוטפת זה לא ריאלי.
איך מריצים
בגלל משקל של כ־3.1 גיגה בייט בלבד בפורמט חצי דיוק, אפשר להריץ אותו כמעט על כל כרטיס מסך ביתי מודרני בלי להזיע. הוא עובד ישר מתוך ספריית transformers הסטנדרטית בפייתון, ותומך ב־Flash Attention 2 כדי לחסוך זיכרון ולהאיץ את זמן התגובה.
אין שום סיבה לשלם על API חיצוני בשביל להריץ מודל במשקל נוצה כזה, אלא אם אין לכם גישה לשרת עם GPU בסיסי או שאתם צריכים סקייל מיידי לאלפי בקשות במקביל בלי לנהל תשתית.
from transformers import pipeline
pipe = pipeline("text-generation", model="stabilityai/stablelm-2-1_6b")
print(pipe("שלום"))הקבצים
13 קבצים במאגר, 3.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הוא מופץ תחת רישיון הקהילה של Stability AI שמסומן כרישיון מותאם. שימוש מחקרי או לא מסחרי פתוח לפי התנאים שלהם, אבל פריסה במוצר מסחרי דורשת הסדרת רישוי נפרדת מול החברה, מה שאומר שאי אפשר פשוט לשלב אותו באפליקציה רווחית בלי בדיקה של הדרישות שלהם.