GPT
הוספת כלי
O

Olmo-3-1125-32B

קוד פתוח

allenaiapache-2.02025-11-04

  • transformers
  • safetensors
  • olmo3
  • text-generation
  • en

מודל בסיס פתוח לחלוטין שמגיע עם שקיפות מלאה על נתוני האימון. מתאים למי שרוצה בסיס נקי לכוונון עצמאי ולא עוד קופסה שחורה.

  • 32Bפרמטרים
  • 65,536טוקנים בהקשר
  • 60.0 GBמשקל הקבצים
  • 41,024הורדות בחודש

מה זה

מדובר במודל שפה גולמי של מכון אלן, שאומן בשלושה שלבים על מאגר דולמה 3 בהיקף של חמישה וחצי טריליון טוקנים. זהו מודל בסיס, כלומר הוא ממשיך טקסט ולא מנהל שיחה ישירה עם משתמש. הגרסה הזו משמשת תשתית לגרסאות ההוראות והחשיבה של אותה סדרה.

בהשוואה למודלים פתוחים לחלוטין באותו סדר גודל, כמו מארין או אולמו הקודם, הוא מציג שיפור ניכר. במבחן הקוד יומן איוול הוא מקבל 66.5 נקודות, תוצאה שעוקפת אפילו את לאמה 3.1 בגודל שבעים מיליארד פרמטרים, ובמבחן ההיגיון דרופ הוא מגיע ל־81. מנגד, מול משקלים פתוחים מסחריים כמו קוון 2.5 או סיד, הוא עדיין מפגר מאחור במתמטיקה מורכבת ובידע רפואי.

מתאים ל

  • בסיס לכוונון עצמאי

    נקודת פתיחה טובה לחברות שרוצות לאמן מודל משלהן על דאטה פרטי בלי תלות ברישיונות סגורים.

  • מחקר על תהליכי אימון

    כל נקודות הביניים והנתונים חשופים, מה שמאפשר לבדוק שינויים שקרו לאורך שלבי האימון.

  • עיבוד מסמכים ארוכים

    התמיכה בשישים וחמישה אלף טוקנים מאפשרת לקלוט טקסטים רחבים באנגלית ללא חיתוך.

איפה זה נופל

זהו מודל בסיס נטול שכבת בטיחות, ולכן הוא מייצר בקלות תוכן שגוי, מוטה או לא הולם אם לא מרסנים אותו. הוא מאומן באנגלית בלבד, כך שניסיון להשתמש בו בעברית יפיק תוצאות רעועות. בנוסף, הוא מתקשה במשימות ידע מקצועי כמו רפואה, שם קיבל פחות מחמישים וארבע נקודות במבחן מד קיו איי.

שאלות
נפוצות

האם המודל מוכן לשימוש בצ'אט?

לא. זהו מודל בסיס שמיועד להשלמת טקסט בלבד. כדי להשתמש בו בממשק שיחה צריך לקחת את גרסת האינסטראקט או לאמן עליו שכבת התאמה אישית.

האם אפשר להשתמש בו ליישומים בעברית?

האימון נעשה על נתונים באנגלית בלבד. הוא לא יבין פניות בעברית כראוי ואינו מתאים למוצרים שמכוונים לקהל מקומי ללא אימון נוסף.

איך מריצים

כדי להריץ אותו במשקל מלא צריך לפחות שמונים גיגה־בייט זיכרון גרפי, שזה אומר כרטיס איי־מאה בודד או שני כרטיסי שמונים גיגה. הקבצים עצמם שוקלים שישים גיגה, כך שצריך להיערך לנפח אחסון בהתאם. אפשר לכווץ אותו לשמונה ביט באמצעות ביטס אנד בייטס כדי להשתחל לחומרה קטנה יותר, אבל הוא דורש העברה מדויקת של הקלטים ישירות לקודה.

מי שמתכנן רק לבדוק תגובות או צריך מענה מוכן לשיחה יעדיף שירותי ענן עם ממשק מוכן, במיוחד כשיש גרסאות אינסטראקט ייעודיות שלא דורשות בניית תשתית מאפס.

from transformers import pipeline

pipe = pipeline("text-generation", model="allenai/Olmo-3-1125-32B")
print(pipe("שלום"))

הקבצים

25 קבצים במאגר, 60.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון אפאצ'י 2.0 מאפשר שימוש מסחרי, שינוי קוד והפצה חופשית של תוצרים. מכון אלן מצרף קווי מנחה לשימוש אחראי ומייעד אותו למחקר, אך מבחינה משפטית מותר לשלב אותו במערכות פנימיות ומוצרים כל עוד שומרים על תנאי הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗