GPT
הוספת כלי
S

StableBeluga2

קוד פתוח

stabilityaiרישיון לא דווח2023-07-20

  • transformers
  • pytorch
  • llama
  • text-generation
  • en

גרסת 70B מכווננת היטב של Llama 2 על דאטה בשיטת Orca, שמצטיינת במעקב מדויק אחרי הוראות מורכבות באנגלית.

  • 4,096טוקנים בהקשר
  • 257 GBמשקל הקבצים
  • 484הורדות בחודש
  • 880לייקים

מה זה

מדובר באימון המשך על בסיס Llama 2 70B שנעשה על ידי Stability AI, תוך שימוש בדאטה סינתטי פנימי בסגנון Orca. הרעיון באימון כזה הוא לא רק ללמד את המודל מה לענות, אלא לחקות תהליכי חשיבה והסברים מפורטים, מה שנותן לו יכולת טובה במיוחד לפרק משימות שלב אחר שלב.

המודל מיועד ליצירת טקסט חופשי ועבודה מול פרומפטים מובנים היטב עם חלוקה ברורה למערכת, משתמש ועוזר. הוא מתאים למי שמחפש יכולות ניתוח מתקדמות במשקל כבד, אבל דורש משמעת מלאה במבנה הפנייה אליו.

מתאים ל

  • פירוק משימות מורכבות

    אימון ה־Orca עוזר למודל לעקוב אחרי הוראות צעד אחר צעד בצורה מדויקת באנגלית.

  • מחקר וניסויי שפה

    מתאים לבדיקת יכולות הסקת מסקנות של מודלי 70B בסביבה אקדמית או פנימית.

  • בוט שיחה באנגלית

    עובד טוב כעוזר מבוסס שיחה לפי תבנית הפרומפט המוגדרת מראש למערכת ולמשתמש.

איפה זה נופל

הבדיקות והאימון נעשו אך ורק באנגלית, כך שאין כאן תמיכה מובנית או התאמה לעברית. בנוסף, חלון ההקשר עומד על 4,096 טוקנים בלבד, שזה מעט מאוד למודל בגודל כזה אם אתם מתכננים להזין לו מסמכים ארוכים.

היוצרים מציינים במפורש שהמודל עלול לייצר תשובות לא מדויקות, מוטות או בעייתיות, ולכן חובה להריץ בדיקות בטיחות והתאמה לפני שחושבים לחבר אותו למשתמשי קצה.

שאלות
נפוצות

האם המודל תומך בעבודה בעברית?

האימון והבדיקות של המודל נעשו באנגלית בלבד. הוא לא הותאם לעברית, ולכן לא מומלץ להסתמך עליו לפרויקטים שדורשים שפה זו.

האם אפשר להשתמש בו במוצר מסחרי?

לא. הרישיון המוגדר בכרטיס המודל הוא רישיון קהילתי לא-מסחרי, מה שמונע שילוב שלו במערכות שמניבות רווח.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־257 גיגה-בייט בפורמט המקורי, מה שאומר שאי אפשר להריץ אותו על חומרה ביתית רגילה. תצטרכו שרת עם מספר כרטיסי GPU חזקים מאוד כדי לטעון אותו, אפילו בחצי דיוק כמו float16 עם device_map אוטומטי ב־transformers.

אם אין לכם קלאסטר כזה זמין בריצה שוטפת, עדיף לבדוק פתרונות ענן שמריצים אותו או להשתמש בממשק בדיקה אם הוא נגיש, אחרת התחזוקה והעלויות של שרת ייעודי יהיו כבדות מדי.

from transformers import pipeline

pipe = pipeline("text-generation", model="stabilityai/StableBeluga2")
print(pipe("שלום"))

הקבצים

42 קבצים במאגר, 257 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

במטא-דאטה לא דווח רישיון רשמי, אך בכרטיס המודל מצוין הסכם רישיון קהילתי לא-מסחרי של Stable Beluga. המשמעות ברורה, אסור לשלב את המודל במוצר מסחרי, והשימוש בו מוגבל למחקר, בדיקות פנימיות וניסויים בלבד.

הרישיון המלא בעמוד המודל ↗