GPT
הוספת כלי
W

WizardMath-70B-V1.0

קוד פתוח

WizardLMTeamllama22023-08-11

  • transformers
  • pytorch
  • llama
  • text-generation
  • text-generation-inference

מודל ענק שמיועד כולו להסקה מתמטית ופתרון בעיות מורכבות. הוא נבנה על גבי Llama 2 כדי לספק תוצאות מדויקות במבחנים כמותיים בלי להסתמך על שירותי ענן מסחריים.

  • 2,048טוקנים בהקשר
  • 257 GBמשקל הקבצים
  • 167הורדות בחודש
  • 125לייקים

מה זה

מדובר בהתאמה ממוקדת של ארכיטקטורת Llama 2 עם שבעים מיליארד פרמטרים, שעברה אימון בשיטה שנקראת RLEIF לחיזוק יכולות החישוב וההיגיון המתמטי. המטרה כאן ממוקדת מאוד. הוא לא נועד לשיחות חולין, אלא לפירוק ופתרון של שאלות מילוליות ומשוואות.

במבחני GSM8k המודל השיג ציון של 81.6, מה ששם אותו באותה תקופה מעל גרסאות מוקדמות של מודלים סגורים כמו ChatGPT וקלאוד אינסטנט. עם זאת, במבחן MATH הקשה יותר הוא עומד על 22.7 בלבד. המספרים האלה מראים שהוא מתמודד יפה עם בעיות ברמת בית ספר, אבל מתקשה כשעוברים למתמטיקה מופשטת ברמה אקדמית.

הצוות שחרר בהמשך את גרסה 1.1 בגודל שבעה מיליארד פרמטרים, שעוקפת את המודל הזה כמעט בכל מדד. לכן, הבחירה במשקל הכבד הזה הגיונית כיום רק אם אתם חייבים בסיס מבוסס Llama 2 ספציפית.

מתאים ל

  • בדיקת תרגילים במערכות למידה

    אימות שלבי פתרון והסקה של שאלות מילוליות במתמטיקה מול תלמידים, בתוך סביבה סגורה שלא מוציאה נתונים החוצה.

  • חילוץ משוואות מטקסט טכני

    תרגום בעיות ניסוחיות לנוסחאות עבודה מוגדרות, בתנאי שהשאלה קצרה ונכנסת בחלון הטוקנים המצומצם.

  • בנצ'מרק להסקה כמותית

    בסיס השוואה מקומי למחקר שבוחן ביצועי מודלי שפה פתוחים על משימות חישוב ברמת שבעים מיליארד פרמטרים.

איפה זה נופל

חלון ההקשר קצר מאוד ועומד על 2,048 טוקנים בלבד, מה שמונע הזנה של שאלות ארוכות, קבצי נתונים מורכבים או היסטוריית שיחה מתמשכת. המפתחים מבהירים במפורש שהם לא מבטיחים את הדיוק של גרסאות מכווצות, כך שכל ניסיון לחסוך בזיכרון עלול לפגוע באיכות הפתרונות. מעבר לכך, נתוני האימון לא שוחררו עקב בדיקות משפטיות של הארגון, כך שאין שקיפות לגבי מקורות המידע שעליהם הוא אומן.

אותה משפחה

WizardMath יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

WizardMath-7B-V1.18,666 WizardMath-7B-V1.0563

שאלות
נפוצות

האם שווה להריץ את המודל הזה במקום גרסת 7B החדשה יותר?

ברוב המקרים לא. גרסת WizardMath-7B-V1.1 מציגה ציונים גבוהים יותר גם ב־GSM8k וגם ב־MATH, תוך שימוש בשבריר מכוח החישוב והזיכרון. המודל הזה מתאים בעיקר למי שזקוק לארכיטקטורת Llama 2 מסיבות תאימות.

האם אפשר להשתמש במודל לפתרון בעיות בעברית?

האימון והבדיקות נעשו באנגלית על מבחנים סטנדרטיים. אפשר לנסות להזין שאלות בעברית, אבל במודלים מתמטיים תרגום מונחים עלול להוביל לשגיאות חישוב קריטיות, ולכן מומלץ לעבוד באנגלית בלבד.

איך מריצים

כדי להעלות 39 קבצים במשקל כולל של 257 גיגה בייט בדיוק של float16, תצטרכו שרת עם לפחות שני כרטיסי A100 או H100 של שמונים גיגה, או לחלופין מערך של ארבעה כרטיסים קטנים יותר. הרצה מקומית על תחנת עבודה רגילה פשוט לא באה בחשבון בלי קוונטיזציה כבדה.

אם אתם לא מחזיקים תשתית ענן ייעודית שרצה מסביב לשעון, העלות השעתית של חומרה כזו הופכת את ההרצה העצמית ללא משתלמת מול שימוש ב־API חיצוני. בנוסף, חובה להשתמש בתבנית הפרומפט המדויקת של הפרויקט, כולל ההוראה לחישוב שלב אחר שלב רק בבעיות מורכבות, כדי לקבל את הביצועים המדווחים.

from transformers import pipeline

pipe = pipeline("text-generation", model="WizardLMTeam/WizardMath-70B-V1.0")
print(pipe("שלום"))

הקבצים

39 קבצים במאגר, 257 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר תחת תנאי llama2 של מטא. מותר להשתמש בו במוצרים מסחריים כל עוד אין לכם מעל שבע מאות מיליון משתמשים פעילים בחודש, ובתנאי שאתם עומדים במדיניות השימוש ההוגן של מטא. אין כאן חופש קוד פתוח מלא, אך עבור רוב החברות והמפתחים מדובר בהיתר מסחרי ישיר.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗