StableBeluga-7B

מה זה

מדובר בהתאמה של המודל לאמה 2 בגודל שבעה מיליארד פרמטרים, שעבר כיוונון עדין על דאטה-סט פנימי בסגנון אורקה. המטרה של האימון הזה היא ללמד מודל קטן לחקות תהליכי חשיבה והסבר של מודלים ענקיים, במקום רק לשנן תשובות קצרות. הוא נבנה כדי להבין פניות מורכבות יותר ולענות בצורה מובנית לפי תבנית שיחה מוגדרת.

המודל כולל שלושים ושתיים שכבות ומיועד למשימות יצירת טקסט באנגלית בלבד. בזכות שיטת האימון הזו, הוא יודע לעקוב אחרי סיסטם פרומפט קפדני בצורה יציבה יחסית לגודל שלו, מה שהופך אותו לפתרון סביר למשימות מוגדרות שלא דורשות מפלצת שרצה בענן.

מתאים ל

• עוזר מקומי למשימות מוגדרות

  אימון האורקה מאפשר לו להבין הוראות מערכת מורכבות בצורה מדויקת יחסית לגודלו.

• מחקר על כיוונון מודלים קטנים

  בסיס טוב לבדיקת יכולות הסקה ולמידה מחיקוי של מודלי ענק ללא צורך בחומרה כבדה.

• ניסויי עיבוד טקסט באנגלית

  מתאים לבדיקות פנימיות של יצירת תוכן ומענה לפרומפטים כשאין חיבור לרשת חיצונית.

איפה זה נופל

המודל אומן ונבדק באנגלית בלבד, כך שאין מה לבנות עליו לעברית. היוצרים מציינים במפורש שהוא עלול לייצר פלט לא מדויק, מוטה או פוגעני, ולא נבדק בכל תרחישי השימוש האפשריים. חלון ההקשר מוגבל לארבעת אלפים טוקנים, ולפני שמחברים אותו לקוד אמיתי חייבים לבצע בדיקות בטיחות וסינון עצמאיות לגמרי.

אותה משפחה

StableBeluga יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

במשקל של שתים עשרה נקודה שש גיגה-בייט בפורמט חצי דיוק, תצטרכו כרטיס מסך עם לפחות שישה עשר גיגה זיכרון כדי לטעון אותו ולהריץ הסקה בצורה נוחה. הקוד הרשמי רץ ישירות דרך ספריית הטרנספורמרס בטורץ, ודורש שימוש בתבנית קלט ספציפית מאוד של סיסטם, יוזר ואסיסטנט כדי לקבל תוצאות טובות.

אם אתם לא מחזיקים חומרה כזו מקומית או צריכים שירות שיחזיק עומס כבד, עדיף להשתמש בממשק מרוחק או בפתרון ענן קיים במקום לקנות ברזלים רק בשביל הניסוי הזה.

from transformers import pipeline

pipe = pipeline("text-generation", model="stabilityai/StableBeluga-7B")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 12.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors10.0 GB
• model-00002-of-00002.safetensors3.5 GB
• tokenizer.json1.8 MB
• LLAMA 2 LICENSE/Responsible-Use-Guide.pdf1.3 MB
• tokenizer.model499.7 KB
• model.safetensors.index.json26.8 KB
• LLAMA 2 LICENSE/LICENSE.txt7.0 KB
• README.md5.3 KB
• LICENSE.txt5.2 KB
• LLAMA 2 LICENSE/USE_POLICY.md4.8 KB
• .gitattributes1.6 KB
• tokenizer_config.json649 B
• config.json583 B
• special_tokens_map.json411 B
• generation_config.json137 B
• Notice112 B

הרישיון

הרישיון הרשמי לא הוגדר במטא-דאטה, אבל כרטיס המודל מפנה להסכם קהילתי לא מסחרי של סטאביליטי. המשמעות פשוטה: המודל הזה מיועד למחקר ולניסויים בלבד, ואי אפשר להטמיע אותו במוצר מסחרי או למכור שירות שמבוסס עליו.

הרישיון המלא בעמוד המודל ↗