GPT
הוספת כלי
Q

Qwen2.5-Math-7B-Instruct

קוד פתוח

Qwenapache-2.02024-09-19

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • chat

יש כאן גם סקירה על Qwen עצמו.

גרסה מכווננת להוראות שמיועדת כמעט אך ורק לפתרון בעיות מתמטיות באנגלית ובסינית. הוא משלב שרשראות חשיבה והפעלת כלים כדי לפתור חישובים ואלגוריתמים מדויקים.

  • 7.6Bפרמטרים
  • 4,096טוקנים בהקשר
  • 14.2 GBמשקל הקבצים
  • 52,853הורדות בחודש

מה זה

מדובר במודל שפה מבוסס 7.6 מיליארד פרמטרים שממוקד במתמטיקה, להבדיל ממודלי שיחה כלליים בגודל הזה. הצוות של Qwen אימן אותו לפתור בעיות בשתי שיטות עיקריות, פירוט שלבי המחשבה באמצעות שרשרת חשיבה רגילה, ושילוב כלים חיצוניים שמאפשר לו להריץ קוד או חישובים מדויקים כשהוא נתקל במשוואות מסובכות.

במבחן MATH עם שילוב כלים, גרסת ה־7B מגיעה לציון של 85.3. זה פער קטן מגרסת ה־72B שהשיגה 87.8, וזינוק משמעותי מול גרסת ה־1.5B שנעצרה ב־79.7. המשמעות בפועל היא יכולת לטפל במשימות כמו מציאת שורשים של משוואות ריבועיות או חישוב ערכים עצמיים של מטריצות, תחומים שבהם מודלים טקסטואליים רגילים נוטים לפשל בחישוב המספרי.

מתאים ל

  • מנוע בדיקת שיעורי בית

    פותר ומנתח תרגילים אלגבריים באנגלית ובסינית, כולל הסבר שלבי הפתרון.

  • חישובים עם קריאת כלים

    מתאים למערכות שמשלבות מודל שפה עם סביבת הרצת קוד לחישוב מטריצות.

  • שרת מתמטי מקומי ופרטי

    רץ ביציבות על כרטיס מסך יחיד ללא תלות ברשת או בעלויות ענן שוטפות.

איפה זה נופל

המפתחים מזהירים במפורש לא להשתמש במודל למשימות כלליות, הוא מוגדר ומכוון לפתרון בעיות מתמטיות בלבד. כמו כן, התמיכה מוגבלת לאנגלית ולסינית, כך שאין מה לבנות עליו לניתוח בעיות מילוליות בעברית. חלון ההקשר קצר יחסית ועומד על 4,096 טוקנים, מה שלא מתאים למסמכים ארוכים או להוכחות מורכבות שנמתחות על פני עמודים רבים.

אותה משפחה

Qwen2.5-Math יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Qwen2.5-Math-1.5B466,070 Qwen2.5-Math-1.5B-Instruct264,600 Qwen2.5-Math-7B47,477

שאלות
נפוצות

האם אפשר להשתמש בו לצ'אטבוט כללי או לכתיבת קוד?

לא. המפתחים מציינים במפורש שהוא מיועד אך ורק למתמטיקה, וביצועיו במשימות שיחה כלליות או בכתיבת טקסטים רגילים יהיו נחותים לעומת מודלים כלליים.

האם המודל מבין שאלות מתמטיות בעברית?

החומר הרשמי מציין תמיכה באנגלית ובסינית בלבד. סביר להניח שהוא יתקשה מאוד בהבנת הניסוח של בעיות מילוליות בעברית, ולכן עדיף לתרגם את השאלות לאנגלית לפני שליחתן אליו.

איך מריצים

כדי להריץ אותו מקומית ב־bfloat16 תצטרכו כ־16 גיגה־בייט של זיכרון כרטיס מסך, כך שכרטיס כמו RTX 4090 או כרטיס שרת בודד יספיקו בהחלט. קבצי המשקולות תופסים 14.2 גיגה־בייט, ויש חובה להשתמש בספריית transformers מגרסה 4.37.0 ומעלה שכוללת תמיכה בארכיטקטורת Qwen2.

גרסת ה־Instruct הזו מיועדת לעבודה ישירה מול שאלות ובקשות, בעוד גרסת ה־Base מתאימה בעיקר לאימון נוסף. אם אתם צריכים רק לבדוק כמה תרגילים מדי פעם, כנראה חבל להעמיד שרת ייעודי ועדיף לפנות ל־API חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="Qwen/Qwen2.5-Math-7B-Instruct")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 14.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש בו בחינם למוצרים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו בקוד סגור, בלי תמלוגים ובלי חובת פתיחת קוד, בכפוף לשמירת תנאי הרישיון ומתן קרדיט ליוצרים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗