GPT
הוספת כלי
W

WizardLM-70B-V1.0

קוד פתוח

WizardLMTeamllama22023-08-09

  • transformers
  • pytorch
  • llama
  • text-generation
  • text-generation-inference

גרסת שבעים מיליארד פרמטרים שאומנה לעקוב אחרי הוראות מורכבות. היא מציגה ביצועים גבוהים במיוחד במבחני שיחה ומתמטיקה יחסית למודלים פתוחים אחרים.

  • 4,096טוקנים בהקשר
  • 257 GBמשקל הקבצים
  • 14,239הורדות בחודש
  • 234לייקים

מה זה

מדובר בהרחבה של ארכיטקטורת Llama לטיפול בהוראות עבודה קשות דרך שיטת אימון ייעודית. המודל מסתמך על מבנה הפרומפטים המוכר של Vicuna ותומך בשיחות מרובות שלבים, כך שאפשר לנהל מולו דיאלוג מתמשך ולא רק פקודות בודדות.

במדדי ההשוואה הוא מציג מספרים מרשימים לגודל שלו. ב־MT-Bench הוא מקבל ציון של 7.78, וב־AlpacaEval הוא מגיע ל־92.91 אחוזים, שמעידים על יכולת טובה בלייצר תשובות שנשמעות משכנעות וקוהרנטיות לבני אדם. במבחן המתמטי GSM8k הוא רושם 77.6 אחוזים, ובכתיבת קוד לפי HumanEval הוא עומד על 50.6 אחוזים, מה שמציב אותו הרבה מעל הגרסאות הקטנות יותר של אותה משפחה.

מתאים ל

  • מענה לפניות מורכבות

    מתאים לפתרון בעיות שדורשות הבנה של הוראות מסועפות ורב-שלביות לפי ציוני ה־AlpacaEval הגבוהים שלו.

  • עוזר לפיתוח תוכנה

    מגיע לתוצאה של 50.6 במבחן HumanEval, ולכן מתאים לכתיבת קטעי קוד והסבר פונקציות ברמה טובה.

  • חישובים ובעיות מילוליות

    הציון שלו ב־GSM8k מראה יכולת חזקה בניתוח ופתרון של תרגילי היגיון ומתמטיקה.

איפה זה נופל

חלון ההקשר קצר ועומד על 4,096 טוקנים בלבד. לשיחות ארוכות או לניתוח מסמכים שלמים זה פשוט לא יספיק, והזיכרון ייחתך מהר.

בנוסף, דאטה-סט האימון לא שוחרר לציבור בגלל בדיקות משפטיות ושינויי מדיניות של הארגון. זה אומר שאי אפשר לדעת בדיוק ממה הוא הורכב, אילו הטיות נכנסו פנימה, ואין דרך לבצע ביקורת עצמאית על המקורות.

אותה משפחה

WizardLM יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

WizardLM-13B-V1.2439 WizardLM-13B-V1.091

שאלות
נפוצות

איזה פורמט פרומפט צריך לשלוח אליו?

הוא עובד בתבנית של Vicuna עם הגדרות קבועות של תפקידי שיחה. צריך לסמן במפורש USER ו־ASSISTANT יחד עם טוקן סיום מתאים כדי לקבל מענה תקין.

האם אפשר להשתמש בו לניתוח חוזים ארוכים?

לא מומלץ. מגבלת ההקשר היא 4,096 טוקנים, שכוללים גם את השאלה וגם את התשובה, כך שטקסטים ארוכים פשוט לא ייכנסו במלואם.

איך מריצים

כדי להריץ אותו מקומית צריך מערך חומרה כבד מאוד. המשקלים לבדם תופסים 257 גיגה-בייט ומחולקים על פני 38 קבצים בדיוק של float16, כך שכרטיס מסך בודד לא ידגדג אותו. צריך שרת עם כמה מעבדים גרפיים חזקים כדי לטעון 80 שכבות זיכרון.

אם אין לכם קלאסטר כזה בחצר או בענן פרטי, עדיף בהרבה להשתמש ב־API של ספק צד שלישי או לחפש גרסאות מכווצות של הקהילה. הרצה עצמאית בפורמט המקורי שווה את המאמץ רק כשיש חובה מוחלטת לשמור את המידע אצלכם.

from transformers import pipeline

pipe = pipeline("text-generation", model="WizardLMTeam/WizardLM-70B-V1.0")
print(pipe("שלום"))

הקבצים

38 קבצים במאגר, 257 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל כפוף לרישיון llama2 של מטא, להבדיל מגרסאות מוקדמות וקטנות יותר בסדרה שהיו מוגבלות לשימוש לא מסחרי. מותר להשתמש בו במוצרים מסחריים, בכפוף למגבלות השימוש המקובלות של מטא.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗