OLMo-2-0425-1B

מה זה

זהו מודל בסיס קומפקטי שעבר אימון על ארבעה טריליון טוקנים בשלב הראשון, ועוד חמישים מיליארד טוקנים בשלב אימון האמצע. Allen Institute for AI שחררו אותו כחלק ממהלך שמנגיש לא רק את המשקלים הסופיים אלא גם נקודות ביקורת לאורך הדרך, קוד המקור ומערכי הנתונים המדויקים.

בגודל של מיליארד וחצי פרמטרים, המטרה אינה להתחרות בענקים סגורים. במבחני ההשוואה לגרסת ההוראות שלו, הוא מגיע לציון ממוצע של 42.7, מה ששם אותו מעל מודלים כמו Llama 3.1 1B ו־SmolLM2 1.7B, וקרוב מאוד ל־Qwen 2.5 1.5B. הוא מציג תוצאות חזקות במיוחד במעקב אחרי הוראות עם ציון 70.1 ב־IFE, אבל מפגר מאחור במתמטיקה מורכבת עם 20.7 ב־MATH. היתרון הגדול שלו הוא היכולת לראות בדיוק ממה הוא הורכב ולבצע התאמות עמוקות.

מתאים ל

• מחקר על תהליכי אימון

  גישה פתוחה לנקודות ביקורת לאורך 4 טריליון טוקנים מאפשרת לבדוק בדיוק איך הידע נבנה.

• כוונון למשימות ייעודיות

  מודל קל ומהיר שמתאים להתאמה אישית על דאטה פנימי בעלות מחשוב נמוכה מאוד.

• השלמת טקסט מקומית

  משקל קטן שרץ ישירות על חומרה מקומית או מכשירי קצה באנגלית בלי תלות ברשת.

איפה זה נופל

זהו מודל בסיס באנגלית בלבד. עברית לא נכללת במפרט שלו, והוא נוטה להמציא עובדות או לפלוט מידע שגוי ורגיש ללא סינון מוקדם. מעבר לזה, עם 4,096 טוקנים של הקשר בלבד וביצועים נמוכים במתמטיקה מתקדמת, הוא יתקשה מאוד במשימות לוגיות מורכבות או בניתוח מסמכים ארוכים ללא כוונון ייעודי.

אותה משפחה

OLMo-2-0425 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המודל דורש transformers מגרסה 4.48 ומעלה, או התקנה של vLLM ישירות ממאגר הפיתוח. הקבצים שוקלים 5.5 ג'יגה בייט בדיוק float32, כך שכל כרטיס מסך בסיסי עם 8 או 16 ג'יגה זיכרון מריץ אותו בלי להתאמץ, ואפשר גם לכווץ אותו ל־8 ביט בעזרת bitsandbytes.

המפתחים סיפקו גישה לנקודות ביקורת שונות לאורך האימון, מה שמאפשר לטעון גרסאות ביניים למחקר או המשך אימון. אם המטרה היא שיחה חופשית או צ'אט מוכן לשימוש בלי אימון נוסף, עדיף להשתמש בגרסת ה־Instruct או לגשת למודל גדול בהרבה דרך API, כי מודל הבסיס הזה רק משלים טקסט ולא יענה ישירות לשאלות.

from transformers import pipeline

pipe = pipeline("text-generation", model="allenai/OLMo-2-0425-1B")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 5.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors956.3 MB
• tokenizer.json7.1 MB
• vocab.json1.6 MB
• merges.txt916.6 KB
• model.safetensors.index.json14.9 KB
• README.md12.9 KB
• tokenizer_config.json4.3 KB
• .gitattributes1.5 KB
• config.json623 B
• special_tokens_map.json125 B
• generation_config.json121 B

הרישיון

המודל והקוד שלו מופצים תחת רישיון Apache 2.0 מלא. אפשר להשתמש בו לצרכים מסחריים, לשנות אותו, לאמן אותו מחדש ולהפיץ אותו בתוך מוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗