StableBeluga-13B

מה זה

בבסיס יושב פה Llama 2 בגודל 13 מיליארד פרמטרים, שעבר כוונון עדין מפוקח על ידי Stability AI. במקום אימון כללי נוסף, הם לקחו דאטהסט פנימי שנבנה בסגנון Orca, גישה שמבוססת על פירוק תהליכי חשיבה והסברים מפורטים כדי ללמד את המודל איך לגשת למשימות מורכבות יותר ולא רק לנחש את המילה הבאה.

התוצאה מכוונת לייצור טקסט ומענה להנחיות באנגלית, תוך שימוש במבנה פרומפט מוגדר היטב עם תגיות מערכת, משתמש ועוזר. האימון עצמו בוצע ברמת דיוק מעורבת של BF16 בשני שלבים, תוך אופטימיזציה עם AdamW, מה שהופך אותו למועמד מעניין למשימות עיבוד טקסט שדורשות היצמדות מדויקת למבנה נתון.

מתאים ל

• ניסויי מחקר בהנחיות

  אימון בסגנון Orca נותן בסיס טוב לבדיקת תגובות מורכבות והבנת תהליכי הנחיה באנגלית.

• בוט שיחה פנימי באנגלית

  מבנה הפרומפט המובנה מקל על יצירת עוזר אישי בסביבת פיתוח מקומית ללא מסחור.

• עיבוד טקסט מקומי

  ניתוח מסמכים רגישים באנגלית בלי להוציא נתונים לרשת, בהינתן חומרה מתאימה.

איפה זה נופל

הכרטיס מצהיר בפירוש שהבדיקות נעשו באנגלית בלבד. עברית לא נתמכת כאן באופן רשמי, וכל ניסיון להשתמש בו בשפות אחרות מועד לתשובות שבורות. בנוסף, המפתחים מודים שהמודל עלול לייצר מידע לא מדויק, מוטה או פוגעני, כך שחובה להריץ בדיקות בטיחות עצמאיות לפני כל שילוב במערכת פעילה.

אותה משפחה

StableBeluga יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו צריך להוריד כמעט עשרים וחמישה גיגה-בייט של משקלים, מה שאומר שכרטיס מסך ביתי רגיל לא יספיק פה. בפורמט float16 המקורי נדרש כרטיס עם לפחות 30GB של זיכרון גרפי, כמו A100 או זוג כרטיסי 24GB שמחלקים ביניהם את העומס באמצעות device_map אוטומטי ב־transformers.

אם אין לכם שרת ייעודי כזה פועל ברקע, כנראה שיהיה זול ופשוט יותר לפנות ל־API חיצוני או לחפש גרסאות שעברו כימות, אחרת עלויות החומרה וההחזקה המקומית יעלו בהרבה על התועלת.

from transformers import pipeline

pipe = pipeline("text-generation", model="stabilityai/StableBeluga-13B")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 24.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00003.safetensors9.9 GB
• model-00002-of-00003.safetensors9.9 GB
• model-00003-of-00003.safetensors6.2 GB
• tokenizer.json1.8 MB
• LLAMA 2 LICENSE/Responsible-Use-Guide.pdf1.3 MB
• tokenizer.model499.7 KB
• model.safetensors.index.json33.4 KB
• LLAMA 2 LICENSE/LICENSE.txt7.0 KB
• README.md5.3 KB
• LICENSE.txt5.2 KB
• LLAMA 2 LICENSE/USE_POLICY.md4.8 KB
• .gitattributes1.6 KB
• tokenizer_config.json649 B
• config.json583 B
• special_tokens_map.json411 B
• generation_config.json137 B
• Notice112 B

הרישיון

הרישיון שהוגדר בקבצים נקרא STABLE BELUGA NON-COMMERCIAL COMMUNITY LICENSE AGREEMENT, למרות שבמטא-דאטה הוא מסומן כלא דווח. המשמעות היא פשוטה, אסור להשתמש במודל הזה למוצרים מסחריים או לעשיית רווח, והוא פתוח לשימוש קהילתי ומחקרי בלבד.

הרישיון המלא בעמוד המודל ↗