WizardMath-7B-V1.1

מה זה

הבסיס פה הוא מיסטרל 7B שעבר אימון ייעודי בשיטת Reinforced Evol-Instruct כדי לחדד יכולות הסקת מסקנות מתמטיות. התוצאה מציגה קפיצה מורגשת מול הדור הקודם של הסדרה, עם ציון של 83.2 ב־GSM8k ו־33.0 ב־MATH. המשמעות בפועל היא שבבעיות מילוליות ברמת בית ספר הוא מדייק ברוב מוחלט של הניסיונות, ובבעיות תחרותיות קשות יותר הוא מצליח לפתור כשליש מהמקרים.

ההישג העיקרי כאן הוא היעילות. במבחנים האלה הוא עוקף מודלים עצומים כמו Llama 2 בגרסת 70B ומציג תוצאות טובות יותר מ־Mixtral 8x7B. למי שמחפש יכולת חישוב והסבר של שלבי פתרון בלי להחזיק תשתית שרתים יקרה, מדובר באחת האפשרויות החזקות ביותר שיצאו בסוף 2023.

מתאים ל

• פתרון בעיות מילוליות

  מציג תוצאה של 83.2 במבחן GSM8k ועוקף מודלים גדולים ממנו בהרבה בניתוח שלבי חישוב.

• בדיקת שיעורי בית באנגלית

  מייצר הסבר מפורט צעד אחר צעד לתרגילים כמותיים בלי לדרוש שרתים מרובי כרטיסי מסך.

• מנוע חישוב מקומי ופרטי

  רץ מקומית על כרטיס מסך בודד של 24 גיגה בלי לשלוח נתונים מתמטיים או פיננסיים החוצה.

איפה זה נופל

היוצרים מדגישים שהם לא מבטיחים את אותה רמת דיוק בגרסאות מכווצות, כך שקוונטיזציה ל־4 ביט עלולה לפגוע ביכולת המתמטית שלו. בנוסף, הוא רגיש מאוד לניסוח: חובה להשתמש בפרומפט המערכת המדויק שהוגדר לו, והמפתחים מזהירים מפורשות לא להפעיל שרשרת מחשבה בשאלות פשוטות. הוא אומן באנגלית בלבד, ואין לו יכולות שיחה כלליות מעבר להסבר ופתרון בעיות.

אותה משפחה

WizardMath יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו בדיוק המקורי של bfloat16 תצטרכו כרטיס מסך יחיד עם לפחות 16 עד 24 גיגה זיכרון, כמו RTX 3090 או A10G, מכיוון שהמשקלים תופסים כ־13.5 גיגה. המודל נשען על Transformers הסטנדרטי כך שקל לשלב אותו בסקריפטים קיימים של פייתון.

אם הכוונה היא רק לשלוח שאילתות בודדות או לבנות בדיקת היתכנות מהירה בלי לתחזק שרת, עדיף להשתמש ב־API חיצוני של ספקי ענן שמארחים מיסטרל. מצד שני, אם אתם צריכים לפתור אלפי תרגילים ברצף בסביבה מקומית ומאובטחת, הרצה עצמית על חומרה כזו תהיה זולה ומשתלמת בהרבה.

from transformers import pipeline

pipe = pipeline("text-generation", model="WizardLMTeam/WizardMath-7B-V1.1")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin9.9 GB
• pytorch_model-00002-of-00002.bin4.5 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• pytorch_model.bin.index.json23.9 KB
• LICENSE10.1 KB
• README.md5.6 KB
• .gitattributes1.5 KB
• tokenizer_config.json948 B
• config.json605 B
• special_tokens_map.json167 B
• generation_config.json111 B
• added_tokens.json42 B

הרישיון

הרישיון לא דווח בעמוד המודל. במצב כזה אין אישור משפטי מפורש לשימוש מסחרי, ואי אפשר לדעת אם מותר לשלב אותו במוצר שמייצר הכנסות. מי שמתכנן להכניס אותו לסביבת ייצור מסחרית לוקח סיכון וצריך לבדוק מול המאגר בגיטהאב אם קיימת הבהרה לגבי תנאי ההפצה.

הרישיון המלא בעמוד המודל ↗