NuminaMath-7B-TIR

מה זה

הבסיס כאן הוא המודל deepseek-math-7b-base, שעבר שני שלבי אימון ייעודיים. בשלב הראשון אימנו אותו על שרשראות חשיבה מילוליות, ובשלב השני לימדו אותו לפרק שאלות מורכבות, לכתוב קוד פייתון שמבצע את החישוב בפועל, ולהשתמש בפלט של הקוד כדי להמשיך את ההסקה.

התוצאה היא פתרון בעיות ברמה תחרותית. במבחן MATH הוא מגיע ל־68.1 אחוז, ובתחרות AMC 2023 הוא פותר 20 מתוך 40 שאלות ללא דגימות מרובות. אלה מספרים שמשאירים מאחור מודלים כלליים באותו סדר גודל כמו Llama 3 8B או Qwen2 7B, אבל חשוב לזכור שהיתרון הזה נשען ישירות על היכולת שלו להריץ פייתון ולא רק לנחש את המספר הבא.

מתאים ל

• פתרון בעיות אולימפיאדה

  פותר שאלות מתמטיות קשות בזכות שילוב חישובי ביניים בפייתון שמונעים טעויות אריתמטיות.

• עוזר מחקר בחישובים

  כותב ומריץ קוד סימבולי ומספרי כדי לאמת פתרונות ואלגוריתמים מתמטיים מורכבים.

• בדיקת תרגילים במדעים

  בודק נכונות של שלבי פתרון במתמטיקה מתקדמת ומחזיר הסבר מפורט עם חישוב מאומת.

איפה זה נופל

המודל אומן בעיקר באנגלית, כך שאין מה לבנות עליו לעבודה בעברית. בנוסף, חלון ההקשר עומד על 4,096 טוקנים בלבד, מה שמגביל מאוד כשיש דיאלוג ארוך שכולל כמה סבבים של יצירת קוד והחזרת שגיאות.

מעבר לכך, הסתמכות על קוד שהמודל מייצר מחייבת בידוד מוחלט. הכרטיס מזהיר במפורש מפני שימוש ישיר בפקודת exec על הפלט, מפני שהרצת קוד לא מבוקר מסוכנת לשרת שלכם.

איך מריצים

כדי להריץ אותו מקומית בפורמט bfloat16 תצטרכו כרטיס מסך עם לפחות 16 גיגה זיכרון וידאו, למשל RTX 4090 או כרטיס שרת מקביל, כי המשקלים תופסים 12.9 גיגה. הטעינה נעשית דרך ספריית transformers הרגילה עם ארכיטקטורת LlamaForCausalLM.

העניין המרכזי בהרצה הוא שלא מדובר במודל טקסט רגיל שמקבל שאלה ומחזיר תשובה. כדי לקבל את הביצועים המדווחים אתם חייבים להקים סביבת הרצה בטוחה, לתפוס את בלוק הקוד שהמודל מייצר, להריץ אותו במפרש פייתון, ולהחזיר למודל את הפלט לפני שהוא ממשיך לכתוב. אם אין לכם תשתית כזו, אין טעם להריץ אותו לבד.

from transformers import pipeline

pipe = pipeline("text-generation", model="AI-MO/NuminaMath-7B-TIR")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 12.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00003.safetensors5.0 GB
• model-00002-of-00003.safetensors5.0 GB
• model-00003-of-00003.safetensors3.9 GB
• tokenizer.json4.6 MB
• trainer_state.json243.2 KB
• thumbnail.png43.3 KB
• model.safetensors.index.json22.5 KB
• README.md9.0 KB
• training_args.bin6.7 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.2 KB
• config.json716 B
• special_tokens_map.json482 B
• all_results.json434 B
• train_results.json232 B
• eval_results.json222 B
• generation_config.json121 B

הרישיון

הרישיון הוא apache-2.0, שמאפשר שימוש מסחרי מלא, שינוי של המשקלים והפצה של המודל בתוך מוצרים. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗