OLMo-2-1124-7B

מה זה

מדובר במודל שפה גולמי מסוג אוטורגרסיבי שפותח על ידי מכון אלן לבינה מלאכותית ואומן על ארבעה טריליון טוקנים באנגלית. הוא מציג שיפור משמעותי לעומת הדור הראשון בסדרה, עם קפיצה של 9 נקודות במבחן MMLU, בעיקר בזכות שיטת אימון רב שלבית ושימוש במאגרי המידע OLMo-mix ו־Dolmino-mix.

בטבלת המבחנים הוא מגיע לממוצע של 62.9 ומקבל 67.5 ב־GSM8k ו־60.8 ב־DROP. המספרים האלה מציבים אותו מעל מודלים פתוחים לחלוטין קודמים כמו DCLM ו־MAP-Neo, ואף מעל Llama 2 בגודל 13B. עם זאת, הוא נשאר מאחורי מודלים מובילים באותו סדר גודל כמו Qwen 2.5 שמגיע לממוצע של 67.4 או Llama 3.1 שעומד על 61.8 אבל עוקף אותו במבחני ידע רחבים יותר.

מתאים ל

• מחקר על תהליכי אימון

  גישה ישירה לצ'קפוינטים לאורך שלבי הלימוד מאפשרת לבדוק בדיוק איך הידע נבנה ברשת.

• אימון ייעודי מאפס באנגלית

  נקודת מוצא טובה לכוונון על דאטה פרטי בארגון, בלי תלות במודלים מסחריים סגורים.

• השוואת ביצועים במדע פתוח

  בסיס השוואה נקי מול מודלים אחרים, כיוון שכל נתוני הדאטהסט והארכיטקטורה חשופים.

איפה זה נופל

זהו מודל בסיס בלבד, ללא התאמת הוראות וללא סינון בטיחות. הכרטיס מציין במפורש שהוא נוטה לייצר מידע שגוי, להמציא עובדות ולפלוט תוכן רגיש או מוטה בקלות רבה אם מבקשים זאת. בנוסף, חלון ההקשר מוגבל ל־4,096 טוקנים בלבד, תאריך העדכון שלו נעצר בדצמבר 2023, והוא מאומן על אנגלית בלבד ללא שום תמיכה רשמית בעברית.

אותה משפחה

OLMo-2-1124 יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

הקבצים שוקלים 27.2 גיגהבייט בגלל ייצוג float32, כך שהרצה ישירה של המקור דורשת זיכרון וידאו של מעל 30 גיגהבייט. בפועל לא מריצים אותו כך. כדי להעלות אותו על חומרה מקומית או שרת זול, עדיף להמיר אותו ל־float16 או לכווץ ל־8 ביט בעזרת bitsandbytes, מה שמוריד את הצריכה לאזור כרטיס בודד של 16 או 24 גיגהבייט זיכרון.

מי שמתכנן לעבוד איתו צריך לזכור שזו גרסת בסיס. אם המטרה היא צ'אט או שימוש מידי בפקודות, עדיף לפנות ישירות לגרסת ה־Instruct או לקרוא למודל שירות מסחרי, כי הרצת גרסת הבסיס הזו מחייבת כוונון מקדים על נתונים שלכם.

pip install -U huggingface_hub
hf download allenai/OLMo-2-1124-7B

הקבצים

16 קבצים במאגר, 27.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00006.safetensors5.0 GB
• model-00001-of-00006.safetensors4.9 GB
• model-00003-of-00006.safetensors4.9 GB
• model-00004-of-00006.safetensors4.9 GB
• model-00005-of-00006.safetensors4.9 GB
• model-00006-of-00006.safetensors4.6 GB
• tokenizer.json7.1 MB
• vocab.json1.6 MB
• merges.txt916.6 KB
• model.safetensors.index.json29.6 KB
• README.md12.1 KB
• tokenizer_config.json4.3 KB
• .gitattributes1.5 KB
• config.json623 B
• generation_config.json126 B
• special_tokens_map.json125 B

הרישיון

הקוד והמשקולות מפורסמים תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי מלא, שינוי של הקבצים, הפצה ושילוב במוצרים פרטיים בלי תשלום תמלוגים, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים עותק של תנאי הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗