GPT
הוספת כלי
O

OLMo-2-0325-32B-Instruct

קוד פתוח

allenaiapache-2.02025-03-12

  • transformers
  • safetensors
  • olmo2
  • text-generation
  • conversational

גרסת הוראות פתוחה לחלוטין שמציעה שקיפות נדירה באימון ומשקולות ביניים, ומתחרה ביכולות של מודלים קנייניים בקוד פתוח.

  • 32Bפרמטרים
  • 4,096טוקנים בהקשר
  • 60.1 GBמשקל הקבצים
  • 80,219הורדות בחודש

מה זה

אלן AI בנו את המודל הזה על בסיס נתוני Dolma עם אימון המשך שכולל כוונון על Tülu 3, אופטימיזציית העדפות DPO וחיזוק RLVR. הוא מחזיק 32 מיליארד פרמטרים ומגיע כקוד ומודל פתוחים במלואם, כולל קוד האימון, הלוגים וצ'קפוינטים שנשמרו כל 20 צעדים בזמן הריצה.

במבחנים הוא עומד על ממוצע של 68.8, שזהה לגרסת ה־DPO שלו ומציב אותו קרוב מאוד ל־Mistral-Small-24B שמקבל 67.6 ול־Qwen2.5-32B שמגיע ל־66.5. הוא חזק במיוחד במעקב אחר הוראות מורכבות עם ציון של 85.6 ב־IFEval, ומציג 87.6 ב־GSM8k ו־78.0 ב־DROP. עם זאת, במתמטיקה כבדה הוא נעצר ב־49.7 במבחן MATH, נמוך בהרבה מ־77.9 של המתחרה מבית Qwen.

מתאים ל

  • מחקר למידת חיזוק

    גישה לצ'קפוינטים שנשמרו כל 20 צעדי אימון ב־RLVR מאפשרת לחקור שינויי התנהגות לאורך תהליך הכוונון.

  • ביצוע משימות מובנות באנגלית

    תוצאה של 85.6 במבחן IFEval מבטיחה היענות מדויקת להגבלות פורמט והנחיות מורכבות.

  • פתרון בעיות היגיון

    עם ציון של 87.6 ב־GSM8k ו־70.6 ב־BBH, הוא מתאים לעיבוד שלבי חשיבה ובעיות מילוליות.

איפה זה נופל

חלון ההקשר מוגבל ל־4,096 טוקנים בלבד, נתון קצר מאוד שמקשה על ניתוח מסמכים ארוכים או שיחות מתמשכות. המודל מתמקד באנגלית בלבד ואינו מיועד לעברית. בנוסף, סינון הבטיחות שלו מינימלי ואין בו מנגנוני הגנה בזמן אמת, ולכן הוא מייצר פלטים בעייתיים אם מבקשים זאת ישירות.

אותה משפחה

OLMo-2-0325 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

OLMo-2-0325-32B7,726

שאלות
נפוצות

האם המודל תומך בעבודה שוטפת בעברית?

הכרטיס מגדיר את המודל כמיועד בעיקר לאנגלית. הוא לא עבר התאמה או כוונון לטקסטים בעברית, ולכן פלטים בשפה זו עלולים להכיל שגיאות או ניסוחים משובשים.

במה שונה גרסת ה־Instruct מגרסת ה־DPO?

גרסת ההוראות עברה שלב אימון נוסף מסוג RLVR על גבי גרסת ה־DPO. הממוצע הכללי נשאר 68.8, אך חל שיפור קל בביצועי מתמטיקה ופתרון בעיות.

איך מריצים

כדי להריץ 32 מיליארד פרמטרים בדיוק של bfloat16 צריך לטעון 60.1 ג'יגה בייט של משקלים, מה שמחייב לפחות שני כרטיסי RTX 3090 או 4090 של 24 ג'יגה בייט, או כרטיס A100 יחיד של 80 ג'יגה בייט. הטעינה מתבצעת ישירות דרך ספריית transformers, אך נדרשת התקנה ישירות מגרסת הפיתוח ב־GitHub.

אם אין לכם שרת ייעודי זמין, החזקה של חומרה כזו יקרה ומסורבלת, ובמקרים של עומס נקודתי עדיף לצרוך מודלים דומים דרך API של ספקי ענן. שימו לב גם לתבנית השיחה בטוקנייזר, היא שונתה מהגרסאות הקודמות ולא כוללת טוקן פתיחה לפני הקלט.

from transformers import pipeline

pipe = pipeline("text-generation", model="allenai/OLMo-2-0325-32B-Instruct")
print(pipe("שלום"))

הקבצים

28 קבצים במאגר, 60.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון apache-2.0 שמתיר שימוש מסחרי, שינוי והפצה של הקוד והמשקלים. לצד זאת, המפתחים מציינים שהוא אומן על נתונים שנוצרו בין היתר באמצעות Gemma, מה שמחיל גם את תנאי השימוש והמגבלות המסחריות של גוגל על התוצרים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗