GPT
הוספת כלי
O

OLMo-2-1124-13B-Instruct

קוד פתוח

allenaiapache-2.02024-12-18

  • transformers
  • safetensors
  • olmo2
  • text-generation
  • conversational

זה מודל שיחה ומעקב הוראות פתוח לחלוטין מבית AI2. הוא מתאים למי שחייב שקיפות מלאה באימון ובנתונים, ומחפש ביצועים תחרותיים בגזרת 13B.

  • 14Bפרמטרים
  • 4,096טוקנים בהקשר
  • 25.6 GBמשקל הקבצים
  • 11,585הורדות בחודש

מה זה

מדובר בגרסת ההוראות של דור 2 לסדרת OLMo, שעברה אימון מבוסס SFT, DPO וחיזוק באמצעות RLVR על נתוני Tülu 3. Allen Institute for AI בנו אותו כדי לספק משקלים, נתונים וקוד פתוחים לגמרי, תחום שבו רוב המתחרים חושפים רק משקלים סגורים. המודל מכוון למשימות טקסט כלליות ושיחה באנגלית, לצד יכולת טובה במעקב אחרי הוראות מורכבות ופתרון בעיות.

במבחני הביצועים הוא מגיע לממוצע של 62.0 נקודות, ועוקף מודלים פופולריים במשקל דומה כמו Qwen 2.5 14B שעומד על 60.8, ו־Llama 3.1 8B שעומד על 58.9. הוא מציג תוצאה חזקה של 82.6 ב־IFEval, מה שמעיד על דיוק גבוה בציות לפורמטים והגבלות טקסט, אבל ב־MATH הוא מגיע רק ל־39.2 נקודות, רחוק מ־70.6 של המתחרה מבית Qwen.

מתאים ל

  • מעקב מדויק אחר הוראות

    הוא קיבל 82.6 במבחן IFEval, ולכן מתאים ליצירת טקסט באנגלית לפי דרישות מבנה נוקשות.

  • מחקר שקיפות וביקורת AI

    כל שלבי האימון, הקוד והנתונים גלויים, מה שמאפשר לבדוק בדיוק איך המודל הגיע לכל תשובה.

  • בוט שיחה באנגלית מקומית

    הוא מגיע מכויל לשיחה עם תבנית מוגדרת מראש, ומתאים למי שמחפש הרצה מקומית מלאה בלי תלות בענן.

איפה זה נופל

חלון ההקשר מוגבל מאוד ועומד על 4,096 טוקנים בלבד. אי אפשר להזין לו מסמכים ארוכים, קוד כבד או שיחות מתמשכות בלי לחתוך את המידע. המודל אומן בעיקר על אנגלית, כך שאין טעם לצפות ממנו לעברית סבירה. בנוסף, הכרטיס מציין במפורש שאימוני הבטיחות שלו מוגבלים ואין לו סינון תגובות בזמן אמת, מה שאומר שהוא עלול לייצר פלטים בעייתיים אם מבקשים ממנו, ולכן חובה לבנות שכבת הגנה באפליקציה.

אותה משפחה

OLMo-2-1124 יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

OLMo-2-1124-7B85,723 OLMo-2-1124-7B-Instruct60,356 OLMo-2-1124-13B11,874 OLMo-2-1124-7B-Instruct-preview584 OLMo-2-1124-13B-Instruct-preview163

שאלות
נפוצות

האם אפשר להשתמש בו לניתוח מסמכים ארוכים?

לא. חלון ההקשר של המודל הוא 4,096 טוקנים בלבד, שזה קצר מאוד ביחס למקובל. מסמכים בני עשרות עמודים ייחתכו מיד ולא ייכנסו לפרומפט.

איך המודל מתמודד עם מתמטיקה וחישובים?

הוא סביר בחישובים בסיסיים עם ציון 87.4 ב־GSM8k, אבל במתמטיקה מורכבת הוא נופל עם 39.2 בלבד במבחן MATH. למשימות מתמטיות מתקדמות עדיף לבחור מודל ייעודי או מתחרה כמו Qwen 2.5.

איך מריצים

כדי לטעון אותו צריך להתקין את transformers ישירות מגרסת הפיתוח של גיטהאב. הקבצים שוקלים 25.6 גיגהבייט בדיוק bfloat16, כך שתצטרכו כרטיס מסך עם לפחות 32 גיגהבייט זיכרון כדי לטעון אותו ישירות בלי קוונטיזציה, או חומרה כמו A100 ו־H100 לסביבת ייצור.

אם יש לכם כרטיס ביתי עם 16 גיגהבייט או פחות, אי אפשר להריץ אותו ישירות במצב המקורי. במצב כזה, או אם אין לכם תשתית שרתים ייעודית לתחזק, שירות ענן חיצוני או שרת שמגיש אותו יהיו פתרון זול ופשוט יותר.

from transformers import pipeline

pipe = pipeline("text-generation", model="allenai/OLMo-2-1124-13B-Instruct")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 25.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקלים שוחררו תחת רישיון apache-2.0, שמתיר שימוש מסחרי, שינויים והפצה ללא תמלוגים. עם זאת, היוצרים מציינים שהאימון כלל דאטה שנוצר ממודלים חיצוניים כמו Gemma, מה שמכפיף את השימוש לתנאי הרישיון של גוגל ומחייב בדיקה משפטית לפני שילוב במוצר.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗