Olmo-3-1025-7B

מה זה

מדובר במודל שפה גנרטיבי נקי של מכון אלן לבינה מלאכותית, ללא שכבת הנחיות או התאמת שיחה. כל הנתונים, הקוד, ושלבי האימון פתוחים לחלוטין, מה שמאפשר לחקור בדיוק ממה הוא הורכב לאורך 5.93 טריליון טוקנים ראשוניים ועוד שני שלבי אימון מתקדמים.

במבחני ביצועים מול מודלים פתוחים אחרים בגודל 7 עד 9 מיליארד פרמטרים, התמונה מעורבת. במתמטיקה הוא משיג 54.7 במדד הפנימי ועוקף את למה 3.1 ומרין, אך בקוד הוא מגיע ל־49.1 ב־HumanEval, רחוק ממתחרים סיניים חזקים כמו קוון שמגיעים מעל 70. במבחני הבנה וידע כללי הוא מציג ביצועים סבירים אך לא מובילים.

מתאים ל

• בסיס לפיין טיונינג עצמאי

  נקודת מוצא נקייה להתאמה אישית, עם גישה לכל שלבי האימון והארכיטקטורה המלאה.

• עיבוד מסמכים ארוכים באנגלית

  חלון הקשר של 65,536 טוקנים מאפשר הזנת קבצים שלמים ללא קיטוע.

• מחקר על התנהגות מודלים

  כל נתוני האימון והצ'קפוינטים שקופים, מה שמאפשר מעקב מדויק אחר תהליך הלמידה.

איפה זה נופל

זהו מודל בסיס נטול כל סינון בטיחותי או התאמת התנהגות. המפתחים מציינים במפורש שהוא יכול לייצר תוכן פוגעני, שגוי עובדתית ומוטה בקלות אם מבקשים זאת ממנו, ולכן אסור לחבר אותו ישירות למשתמשי קצה בלי בדיקות והגנות.

בנוסף, המודל אומן באנגלית בלבד. לא קיימת שום תמיכה רשמית בעברית, ולפי נתוני האימון כל ניסיון לעבוד איתו בשפות אחרות יניב פלט משובש מאוד.

איך מריצים

כדי להריץ אותו כמו שהוא במשקל מלא של 13.6 גיגה בייט צריך כרטיס מסך עם לפחות 16 גיגה זיכרון, או לעבור לקוונטיזציה של 8 ביט כדי להסתפק בחומרה צנועה יותר. המודל דורש ספריית טרנספורמרס בגרסה 4.57.0 ומעלה, ומאפשר לגשת גם לצ'קפוינטים מוקדמים משלבי האימון הראשונים.

אם כל מה שאתם צריכים זה בוט שיחה או מנוע שעונה לשאלות ישר מהקופסה, חבל על הברזלים שלכם. בשביל שימוש ישיר עדיף לפנות לגרסאות ה־Instruct וה־Think שאלן שחררו, או להשתמש ב־API מוכן, כי מודל בסיס רק משלים טקסט ולא יודע לנהל דיאלוג.

from transformers import pipeline

pipe = pipeline("text-generation", model="allenai/Olmo-3-1025-7B")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 13.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors5.0 GB
• model-00001-of-00003.safetensors5.0 GB
• model-00003-of-00003.safetensors4.6 GB
• tokenizer.json7.1 MB
• vocab.json1.6 MB
• merges.txt916.6 KB
• olmo-base.png103.4 KB
• model.safetensors.index.json29.6 KB
• README.md12.2 KB
• tokenizer_config.json4.3 KB
• config.json1.6 KB
• .gitattributes1.6 KB
• special_tokens_map.json207 B
• olmo3-logo119 B
• generation_config.json69 B

הרישיון

המודל והקוד שלו מופצים תחת רישיון אפאצ'י 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים, בתנאי ששומרים על הודעות זכויות היוצרים ומצרפים את נוסח הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗