GPT
Q

Qwen2.5-Math-7B

קוד פתוח

Qwenapache-2.02024-09-16

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • conversational

יש כאן גם סקירה על Qwen עצמו.

גרסת בסיס של שבעה מיליארד פרמטרים שתוכננה מראש רק לחשיבה מתמטית. מי שבוחר בה מחפש נקודת מוצא חזקה לאימון נוסף ולא מודל לשיחה כללית.

  • 7.6Bפרמטרים
  • 4,096טוקנים בהקשר
  • 14.2 GBמשקל הקבצים
  • 47,477הורדות בחודש

מה זה

מדובר במודל שפה שנבנה כמעט בלעדית סביב פתרון בעיות מתמטיקה באנגלית ובסינית. בניגוד למודלים כלליים במשקל הזה שמנסים לעשות הכול מהכול, כאן כל הארכיטקטורה והמשקלים עברו כוונון כדי להתמודד עם שרשראות חשיבה וחישובים מורכבים. הוא נשען על הרחבה של סדרת המקור עם יכולת להפעיל כלים חישוביים חיצוניים לצד פירוק בעיות שלב אחר שלב.

הנקודה הקריטית היא שמדובר בגרסת בסיס. היא לא עברה התאמה לשיחה מול משתמש אלא נועדה להשלמת טקסט, הפקת דוגמאות בודדות או אימון המשך. גרסת ההוראות המקבילה באותו הגודל הגיעה לציון של 85.3 במבחן MATH כששילבו בה כלים, מה שמציג את הפוטנציאל הגלום בארכיטקטורה הזו כשבונים מעליה נכון.

מתאים ל

  • בסיס לאימון מודל מתמטי

    נקודת התחלה מצוינת למי שרוצה לאמן מודל פנימי על דאטה מתמטי ייעודי משלו.

  • השלמת פתרונות באנגלית

    הרצת פרומפטים עם דוגמאות לפתרון בעיות אלגברה צעד אחר צעד.

  • אינטגרציה עם כלי חישוב

    פיתוח מערכות שמשלבות חשיבה מתמטית יחד עם הפעלת מנועי חישוב חיצוניים.

איפה זה נופל

היוצרים מזהירים במפורש לא להשתמש במודל למשימות אחרות שאינן מתמטיקה. הוא תומך באנגלית ובסינית בלבד, כך שאין מה לנסות להריץ עליו שאלות בעברית. חלון ההקשר עומד על 4,096 טוקנים בלבד, שזה גבול צר יחסית שלא יחזיק מסמכים ארוכים. מעבר לזה, כמודל בסיס הוא לא יודע לשוחח ויפלוט המשכים במקום תשובות ישירות.

אותה משפחה

Qwen2.5-Math יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

שאלות
נפוצות

האם אפשר להשתמש בו ישירות כבוט בצ'אט?

לא. זהו מודל בסיס שנועד להשלמת טקסט ולא עבר כוונון לשיחה. בשביל צ'אט עדיף לקחת את גרסת ההוראות המקבילה.

האם המודל מבין שאלות בעברית?

לא, הכרטיס מציין תמיכה באנגלית ובסינית בלבד. ניסוח שאלות בעברית יפיק ככל הנראה תוצאות משובשות ולא מדויקות.

איך מריצים

המשקלים תופסים קצת יותר מארבעה עשר גיגה בייט בדיוק המקורי, כך שצריך כרטיס מסך עם לפחות שישה עשר או עשרים וארבעה גיגה זיכרון כדי לטעון אותו בנוחות. הספרייה של טרנספורמרס דורשת גרסה 4.37.0 ומעלה כדי שהקוד ירוץ בכלל.

אם אתם לא מתכננים לאמן אותו בעצמכם או לבנות מעליו סקריפטים עם הנחיות דוגמה, אין היגיון להרים שרת בשבילו. עדיף בהרבה לקחת ישר את גרסת ההוראות שמגיבה כמו שצריך לפניות.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2.5-Math-7B")
print(pipe("שלום"))

הרישיון

רישיון אפאצ'י שתיים אפס מתיר שימוש מסחרי מלא, שינוי של הקוד והפצה חופשית של המשקלים. אפשר לשלב אותו במוצרים פנימיים או חיצוניים בלי דרישה לפתוח את הקוד שלכם, בכפוף לשמירה על תנאי הקרדיט המקוריים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗