Starling-LM-7B-alpha

מה זה

מדובר במודל שפת שיחה שנוצר מאימון חוזר של Openchat 3.5 בעזרת משוב של מודל תגמול ושיטה ייעודית ליישור מדיניות. המטרה של המפתחים הייתה לשפר את איכות התשובות ואת הבטיחות שלהן, תוך שימוש בדירוגים שהופקו עם GPT-4.

במדדי ההערכה של יוצריו, הוא משיג ציון 8.09 במבחן MT Bench, מה שמציב אותו מעל מודלים מסחריים כמו GPT-3.5-Turbo ו־Claude-2 בשיחה רב־שלבית, ומעל מודלי שבעים מיליארד פתוחים. עם זאת, במבחן הידע הכללי MMLU הוא עומד על 63.9, תוצאה שמקבילה למודלי שבעה מיליארד רגילים ומבהירה שהוא מתמחה בסגנון ותקשורת ולא צבר ידע עובדתי חדש.

מתאים ל

• עוזר שיחה באנגלית

  הוא מציג ביצועי שיחה גבוהים ב־MT Bench שמתחרים במודלים סגורים, בלי צורך בשרתים יקרים.

• מחקר של RLAIF

  מצוין לחוקרים שרוצים לבחון שיטות כוונון ומשוב בינה מלאכותית על בסיס מודל פתוח ומתועד.

• הדגמות פנימיות

  מתאים לבניית ממשקי צ'אט פנימיים בארגון הדורשים ריצה מקומית, כל עוד השימוש אינו מסחרי.

איפה זה נופל

היוצרים מזהירים שהמודל נוטה לפעמים לחזרתיות ולמלל מוגזם, וממליצים להוריד את הטמפרטורה לאפס כדי לצמצם את זה. בנוסף, הוא אומן באנגלית בלבד, כך שאין לצפות לביצועים סבירים בעברית. מבחני הידע מראים שהוא עדיין מוגבל ביכולות הבנה עמוקות ועובדתיות בהשוואה למודלים גדולים באמת.

איך מריצים

המשקל הכולל של הקבצים עומד על 13.5 גיגה בייט בדיוק bfloat16, כך שכדי לטעון ולהריץ אותו במלואו צריך כרטיס מסך יחיד עם לפחות 16 עד 24 גיגה בייט של זיכרון גרפי. הוא נתמך ישירות בספריית transformers של פייתון, וחלון ההקשר שלו מגיע ל־8,192 טוקנים.

חובה להשתמש בתבנית השיחה המדויקת של Openchat 3.5, כי כל חריגה ממנה פוגעת קשות באיכות הפלט. אם אין ברשותכם חומרה ייעודית מתאימה, אפשר לבדוק את הביצועים שלו בחינם בממשק של LMSYS Chatbot Arena לפני שמשקיעים בהקמת תשתית עצמאית.

from transformers import pipeline

pipe = pipeline("text-generation", model="berkeley-nest/Starling-LM-7B-alpha")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors5.0 GB
• model-00001-of-00003.safetensors4.9 GB
• model-00003-of-00003.safetensors4.5 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• model.safetensors.index.json23.9 KB
• README.md8.0 KB
• tokenizer_config.json1.6 KB
• .gitattributes1.5 KB
• openchat.json669 B
• config.json613 B
• special_tokens_map.json560 B
• generation_config.json115 B
• added_tokens.json53 B

הרישיון

למרות ההגדרה הטכנית כרישיון Apache-2.0, המפתחים הגדירו את הפרויקט כתצוגת מחקר לשימוש לא מסחרי בלבד. השימוש כפוף למגבלות של LLaMA, תנאי השימוש של OpenAI שאוסרים להתחרות בהם, ומדיניות ShareGPT, ולכן אסור לשלב אותו במוצר מסחרי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗