stablelm-2-zephyr-1_6b

קוד פתוח

stabilityaiother2024-01-19

transformers
safetensors
gguf
stablelm
text-generation

זה מודל שיחה קומפקטי שמכוון לתת מענה מהיר במכשירים מקומיים. הוא פונה למי שצריך מודל קל משקל שרץ בזול בלי להקריב את יכולת הדיאלוג הבסיסית.

1.6Bפרמטרים
4,096טוקנים בהקשר
11.8 GBמשקל הקבצים
10,087הורדות בחודש

מה זה

מדובר במודל שפה של 1.6 מיליארד פרמטרים שעבר אימון הוראות ושיפור באמצעות העדפות אנושיות, בדומה למתכון של משפחת זפיר. הוא נשען על נתונים סינתטיים וציבוריים, ומכוון בעיקר ליישומי שיחה באנגלית.

במדד השיחה MT-Bench הוא מקבל ציון 5.42, שזה גבוה יותר מדגמים ותיקים וגדולים ממנו בהרבה כמו פלקון 40B, ועוקף בקלות מתחרים ישירים כמו קוון 1.8B. במבחני OpenLLM הוא מציג ממוצע של 49.89%, עם שיפור ניכר במתמטיקה מול מודל הבסיס שלו, אבל הוא עדיין נשאר מאחורי מודלים מתקדמים כמו פי 2 של מיקרוסופט בכל מה שנוגע למשימות ידע כללי והיגיון מורכב.

מתאים ל

בוט שיחה מקומי וקל
צורך מעט משאבים ומספק אינטראקציה טובה באנגלית בלי תלות בחיבור רשת.
מחקר על מודלים קטנים
מתאים לבדיקות של שיטות אימון העדפה ומיצוי ביצועים על חומרה חלשה.
עוזר מקוון במכשירי קצה
נפח קטן שמאפשר הרצה מקומית מלאה במחשבים אישיים בלי כרטיסי מסך יקרים.

איפה זה נופל

המודל נוטה להזיות עובדתיות לעיתים קרובות. יוצרי המודל מודים בגלוי שהוא לא אומן להתמודד עם קלטים עוינים, והוא ישתף פעולה בקלות עם יצירת מידע שגוי או תוכן מזיק אם המשתמש יבקש זאת ישירות. חובה להציב מנגנוני סינון ובקרה על הקלט והפלט שלו לפני שמשלבים אותו במערכת אמיתית.

שאלות
נפוצות

האם הוא מתאים למוצרים שפונים לקהל ישראלי?

לא ממש. המודל אומן והוגדר עבור השפה האנגלית בלבד. הוא לא יתפקד בצורה סבירה בעברית ללא אימון נוסף משמעותי.

האם אפשר להשתמש בו ישירות בסטארטאפ שלי?

לא באופן מסחרי. הרישיון המצורף אוסר שימוש מסחרי מכל סוג ומחייב פנייה לחברה לצורך רכישת רישיון מתאים.

איך מריצים

טוענים אותו ישירות דרך ספריית טרנספורמרס בפורמט פלואוט 16, והוא תופס מעט מאוד זיכרון בהרצה. בגלל הגודל הצנוע שלו, כרטיס גרפי ביתי פשוט עם כמה גיגה בייט בודדים של זיכרון יריץ אותו בקלות, ואפשר לדחוף אותו אפילו למעבדים רגילים או מכשירי קצה.

הריצה המקומית פשוטה וזולה מאוד, ולכן אין סיבה לפנות לספקי ענן חיצוניים אלא אם אתם בונים מערך עם אלפי פניות בשנייה ולא רוצים לתחזק שרתים בעצמכם.

ollama run hf.co/stabilityai/stablelm-2-zephyr-1_6b:Q5_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

safetensors4.3 GB stablelm-2-zephyr-1_6b3.3 GB Q8_01.8 GB Q5_K_M1.2 GB Q4_11.1 GB Q4_0982.8 MB

הרישיון

הרישיון הוא רישיון קהילתי ומחקרי שאינו מאפשר שימוש מסחרי. מותר לבדוק, לפתח ולחקור אותו בחינם, אבל אי אפשר לשלב אותו במוצר שמכניס כסף בלי לפנות ישירות לסטביליטי ולקבל מהם אישור או הסכם נפרד.

הרישיון המלא בעמוד המודל ↗