GPT
הוספת כלי
O

OLMoE-1B-7B-0125-Instruct

קוד פתוח

allenaiapache-2.02025-01-27

  • transformers
  • safetensors
  • olmoe
  • text-generation
  • conversational

זה מודל תערובת מומחים פתוח לגמרי, שמפעיל מעט פרמטרים בפועל בכל מילה. הוא נותן פתרון יעיל למי שרוצה ביצועים סבירים בלי לשרוף משאבי חישוב כבדים.

  • 6.9Bפרמטרים
  • 4,096טוקנים בהקשר
  • 12.9 GBמשקל הקבצים
  • 167,411הורדות בחודש

מה זה

אלן אינסטיטיוט שחררו גרסת הוראות שעברה שרשרת אימון מלאה שכוללת SFT, כוונון DPO ולבסוף RLVR על נתוני חשבון. הארכיטקטורה מחזיקה כמעט שבעה מיליארד פרמטרים בסך הכול, אבל בפועל מפעילה רק חלק קטן מהם בזמן ריצה. זה אומר שמקבלים זיכרון ורוחב ידיעה של מודל בינוני, עם מהירות תגובה של מודל קטן בהרבה.

המבחנים מראים שיפור חד במתמטיקה ובמעקב אחר הוראות בהשוואה לגרסאות קודמות, עם 72.4 ב־GSM8K ו־66.36 ב־IFEval. מצד שני, במבחני קוד כמו HumanEval המודל מציג 62.3, תוצאה כמעט זהה ואפילו מעט נמוכה מגרסאות בסיסיות יותר, כך שהאימון הנוסף התמקד בעיקר בהיגיון ובמשמעת להוראות ולא בתכנות.

מתאים ל

  • פתרון בעיות חשבון פשוטות

    הוא מגיע לציון של 72.4 ב־GSM8K ומספק מענה מדויק יחסית לשאלות מילוליות.

  • ביצוע משימות לפי הנחיות

    מבחן IFEval מראה שהוא שומר היטב על מבנה מבוקש וכללי פורמט.

  • מחקר על תערובת מומחים

    המפתחים שחררו את כל שלבי האימון, הקוד והנתונים באופן פתוח.

איפה זה נופל

היוצרים מבהירים במפורש שיש כאן אימון בטיחות מוגבל מאוד ואין שום סינון תשובות מובנה, כך שהמודל יכול לפלוט תוכן בעייתי בקלות אם מבקשים ממנו. בנוסף, הוא אומן בעיקר באנגלית, וחלון ההקשר שלו מוגבל ל־4,096 טוקנים בלבד. אל תנסו להאכיל אותו במסמכים ארוכים בעברית או לצפות שיבין סלנג מקומי. ציון ה־MATH שלו עומד על 21.41 בלבד, כך שאי אפשר לסמוך עליו בחישובים מורכבים.

אותה משפחה

OLMoE-1B-7B-0125 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

OLMoE-1B-7B-012517,153

שאלות
נפוצות

האם הוא יעבוד טוב בעברית?

המודל מוגדר ומאומן בעיקר לאנגלית. הוא עשוי לפלוט מילים בעברית, אבל הוא לא מותאם לשפה, יתרגם בצורה עילגת ויגמור את חלון ההקשר הקצר שלו מהר מאוד בגלל הקידוד.

למה להריץ אותו ולא מודל צפוף של 7B?

בגלל החיסכון בעלות החישוב בכל טוקן. ארכיטקטורת המומחים מפעילה רק חלק מהרשת לכל מילה, כך שמקבלים זמני תגובה מהירים בהרבה ממודל סטנדרטי באותו הגודל.

איך מריצים

כדי להריץ אותו דרך transformers צריך להתקין את הספרייה ישירות מענף הפיתוח של גיטהאב, כי התמיכה בארכיטקטורה הזו עדיין טרייה. הקבצים שוקלים 12.9 גיגה בייט בדיוק של bfloat16, כך שצריך כרטיס מסך עם לפחות 16 גיגה זיכרון כדי לטעון אותו כמו שצריך בלי קוונטיזציה.

אם אתם צריכים רק מענה מהיר לכמה שאילתות ביום, להחזיק שרת ייעודי בשבילו יהיה בזבוז מוחלט, ועדיף להשתמש בממשק הניסיוני של המפתחים או ב־API חיצוני. המודל הזה שווה הרצה עצמאית בעיקר אם אתם בודקים מודלים פתוחים במעבדה מקומית או מחפשים בסיס שאפשר לשנות לו את המשקולות באופן חופשי.

from transformers import pipeline

pipe = pipeline("text-generation", model="allenai/OLMoE-1B-7B-0125-Instruct")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 12.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקולות מפורסמים תחת רישיון Apache 2.0, שמאפשר שימוש מסחרי, שינוי והפצה. יחד עם זאת, כרטיס המודל מציין שהוא אומן על פלטים של מודלים צד שלישי וכפוף גם לתנאי השימוש של Gemma, מה שמוסיף מגבלות משפטיות שצריך לבדוק היטב לפני שילוב במוצר מסחרי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗