OLMo-2-0425-1B-Instruct

מה זה

מדובר במודל שפה קומפקטי של כמיליארד וחצי פרמטרים, שעבר שרשרת אימון מלאה הכוללת כוונון מונחה, אופטימיזציית העדפות בשיטת DPO, ואימון חיזוק מבוסס אימות לפתרון בעיות. Allen Institute for AI בנו אותו כדי לאפשר מחקר פתוח, כך שכל הקוד, נתוני האימון ונקודות הביקורת זמינים לציבור.

במבחני הביצועים הוא מציג תוצאות מפתיעות לגודל שלו, במיוחד במשימות של עמידה בהוראות קפדניות עם ציון 70.1 במבחן IFEval, ובחשבון עם 68.3 במבחן GSM8K. הוא גובר שם על מתחרים ישירים כמו Llama 3.1 1B ו־SmolLM2 1.7B. מצד שני, בידע כללי רחב או במתמטיקה מורכבת ברמת תיכון הוא נשאר חלש משמעותית ממודלים כמו Qwen 2.5 1.5B.

מתאים ל

• מעקב אחר הנחיות פשוטות

  התוצאה הגבוהה במבחן IFEval הופכת אותו למעולה בעיבוד פקודות מוגדרות היטב.

• חישובים קלים על מכשיר קצה

  הוא מצטיין בבעיות מילוליות בסיסיות ורץ בקלות על חומרה חלשה בלי שרת.

• מחקר על תהליכי אימון

  משקלי המודל שמורים כל עשרים צעדים, מה שמאפשר לבדוק שינויים בהתנהגות.

איפה זה נופל

היוצרים מבהירים במפורש שלמודל יש אימון בטיחות מוגבל מאוד ואין לו מנגנון סינון תשובות מובנה בזמן אמת, כך שהוא עלול לייצר פלט בעייתי אם דוחקים בו.

בנוסף, הוא מיועד בעיקר לאנגלית. חלון ההקשר מוגבל ל־4,096 טוקנים בלבד, והיכולות שלו במתמטיקה מתקדמת עומדות על 20.7 בלבד במבחן MATH. אל תבנו עליו לעיבוד טקסטים ארוכים או להבנה מעמיקה של הקשרים מסובכים.

אותה משפחה

OLMo-2-0425 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

במשקל של 2.8 גיגה־בייט בפורמט bfloat16, המודל רץ בלי בעיה על מעבד מקומי חזק או על כל כרטיס מסך פשוט עם ארבעה עד שישה גיגה זיכרון. טוענים אותו ישירות דרך ספריית transformers מגרסה 4.48 ומעלה, או ב־vLLM עם גרסאות עדכניות. המפתחים שחררו גם נקודות שמירה כל עשרים צעדי אימון למי שרוצה לנתח את תהליך הלמידה.

אם אתם צריכים לנתח מסמכים ארוכים או לבצע שיחות מורכבות בעברית, חבל על המאמץ של תחזוקת שרת עצמאי. במקרים כאלה עדיף לפנות ל־API של מודל ענן גדול.

from transformers import pipeline

pipe = pipeline("text-generation", model="allenai/OLMo-2-0425-1B-Instruct")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 2.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors3.0 GB
• tokenizer.json7.1 MB
• vocab.json1.6 MB
• merges.txt916.6 KB
• README.md6.2 KB
• tokenizer_config.json4.9 KB
• .gitattributes1.5 KB
• config.json625 B
• special_tokens_map.json581 B
• generation_config.json121 B

הרישיון

הוא מופץ תחת רישיון Apache 2.0 מלא. הרישיון מתיר שימוש מסחרי, שינוי קוד, הפצה מחדש והטמעה במוצרים סגורים, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗