GPT
הוספת כלי
O

Olmo-3.1-32B-Instruct

קוד פתוח

allenaiapache-2.02025-12-10

  • transformers
  • safetensors
  • olmo3
  • text-generation
  • conversational

גרסת הוראות פתוחה לחלוטין בגודל 32B עם ביצועי מתמטיקה חזקים. Ai2 מפרסמים כאן את כל שלבי האימון, הנתונים והמשקלים למי שרוצה שליטה מלאה.

  • 32Bפרמטרים
  • 65,536טוקנים בהקשר
  • 60.0 GBמשקל הקבצים
  • 12,603הורדות בחודש

מה זה

מדובר במודל שפה פתוח לחלוטין מבית Ai2, שעבר אימון בסיס על Dolma 3 ולאחריו שלושה שלבי כוונון: SFT, DPO ולמידת חיזוק מבוססת תגמול מאומת (RLVR). הוא מיועד לייצור טקסט באנגלית ומחזיק חלון הקשר של 65,536 טוקנים על גבי 64 שכבות. המטרה של הפרויקט היא לאפשר מחקר שקוף, ולכן החוקרים משחררים את הקוד, מערכי הנתונים והצ'קפוינטים השונים.

במבחני הביצועים הוא מציג קפיצה גדולה במתמטיקה ולוגיקה לעומת הדור הקודם. במבחן MATH הוא מגיע ל־93.4 לעומת 49.2 של OLMo 2 32B, וב־AIME 2024 הוא רושם 67.8. בכתיבת קוד ב־HumanEvalPlus הוא משיג 86.7. זה אומר שבמשימות חישוביות ובדיקות קוד מוגדרות הוא מספק תוצאות תחרותיות מאוד לגודל שלו, אך במבחני ידע כללי כמו PopQA הוא עומד על 25.0 בלבד.

מתאים ל

  • פתרון בעיות מתמטיקה

    התוצאות במבחני AIME ו־MATH מראות יכולת גבוהה בניתוח נוסחאות וחישובים מורכבים באנגלית.

  • מחקר והערכת מודלים

    כל נתוני האימון והמשקלים גלויים, מה שמאפשר לבחון בדיוק איך שלבי DPO ו־RLVR משפיעים על הפלט.

  • ניתוח מסמכים ארוכים

    חלון של 65,536 טוקנים מאפשר לעבד טקסטים טכניים ומאמרים ארוכים באנגלית בהנחיה אחת.

איפה זה נופל

המודל אומן על אנגלית בלבד. אין לו תמיכה רשמית בעברית, ולכן ניסיון להשתמש בו ליישומים מקומיים בעברית יוביל לפלט משובש או תרגום קלוקל. תאריך היעד של המידע שלו נעצר בדצמבר 2024, והוא אינו מחובר למידע עדכני.

בנוסף, הכרטיס מזהיר במפורש שהמודל עלול לייצר תוכן פוגעני, מוטה או שגוי עובדתית תחת הנחיות מסוימות, מאחר שאין עליו שכבת סינון אגרסיבית. בשל תקלה טכנית בתהליך השמירה, המפתחים שחררו רק את הצ'קפוינטים האחרונים של שלב ה־RLVR ולא את הרצף המלא, מה שמגביל חלקית את יכולת השחזור של תהליך האימון.

שאלות
נפוצות

האם המודל מתאים למוצרים בעברית?

לא. המודל הוגדר ואומן עבור השפה האנגלית בלבד. עיבוד או יצירת תוכן בעברית יסבלו מאיכות ירודה והזיות, ועדיף לבחור מודל רב־לשוני ייעודי.

מה נדרש כדי להריץ אותו בסביבת פיתוח מקומית?

תצטרכו מעבד גרפי אחד חזק מאוד של 80GB או שילוב של מספר כרטיסים, שכן הקבצים שוקלים 60.0 GB. הרצה ב־8 ביט תפחית את דרישת הזיכרון אך עדיין תדרוש כרטיס מקצועי עם לפחות 32GB עד 40GB VRAM.

איך מריצים

המשקלים תופסים 60.0 ג'יגה־בייט ב־26 קבצים, מה שמחייב חומרה כבדה. כדי להריץ אותו ב־FP16 תצטרכו לפחות 64 ג'יגה־בייט של זיכרון וידאו, כלומר שני כרטיסי A100 או H100 של 40GB ומעלה. אם רוצים לחסוך, אפשר לטעון אותו בקוונטיזציה של 8 ביט דרך bitsandbytes עם ספריית transformers מגרסה 4.57.0 ומעלה, אך המפתחים מציינים שהמודל המכווץ רגיש לסוגי נתונים ודורש העברה ישירה של הקלטים ל־CUDA.

לאימון והתאמה אישית החוקרים מציעים שימוש בספריית OLMo-core על שרת של 8 מעבדים גרפיים. עבור מי שאין לו תשתית שרתים מקומית של כמה עשרות אלפי שקלים או תקציב ענן תואם, הרצה מקומית תהיה יקרה ואיטית, ובמצב כזה עדיף לצרוך מודלים בגודל דומה דרך ממשקי API חיצוניים.

from transformers import pipeline

pipe = pipeline("text-generation", model="allenai/Olmo-3.1-32B-Instruct")
print(pipe("שלום"))

הקבצים

26 קבצים במאגר, 60.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון apache-2.0 מתיר שימוש חופשי בקוד ובמשקלים, כולל שימוש מסחרי, שינוי והפצה, בתנאי ששומרים על הצהרת זכויות היוצרים והרישיון המקורי. Ai2 מוסיפים בקשה לפעול לפי הנחיות השימוש האחראי שלהם למטרות מחקר וחינוך, אך תנאי הרישיון המשפטי עצמו אינם מטילים מגבלות מסחריות על שילובו במוצר.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗