WizardLM-13B-V1.2
קוד פתוחWizardLMTeamllama22023-07-25
גרסת כוונון עדין על גבי Llama 2 שממוקדת בהבנת הוראות מורכבות. היא מציגה קפיצה בביצועי שיחה וקוד מול גרסאות 13B קודמות, ברישיון שמאפשר שימוש מסחרי.
- 4,096טוקנים בהקשר
- 24.2 GBמשקל הקבצים
- 439הורדות בחודש
- 221לייקים
מה זה
המודל הזה אומן ישירות על בסיס Llama 2 13B, במטרה לשפר את היכולת שלו להתמודד עם הנחיות קשות ומורכבות בעזרת שיטת Evol-Instruct. בתוך קטגוריית ה־13B, הגרסה הזו מציגה שיפור ניכר מול גרסאות 1.0 ו־1.1, במיוחד במבחני קוד ושיחה.
במדד MT-Bench המודל מגיע לציון 7.06, וב־AlpacaEval הוא רושם 89.17%, לצד 36.6 ב־HumanEval pass@1. המספרים האלה אומרים שבכתיבת קוד פשוט ובתשובות לשיחה יומיומית הוא מתפקד טוב בהרבה מגרסאות 13B ישנות יותר, אך מבחני MT-Bench ו־AlpacaEval דווחו על ידי הצוות כבדיקה עצמית ולא כאומדן חיצוני רשמי.
מתאים ל
- עוזר שיחה מקומי
מתאים לבוטים פנימיים בזכות ציון 7.06 ב־MT-Bench ומבנה פרומפט מובנה של Vicuna לשיחות מרובות שלבים.
- סיוע בכתיבת קוד בסיסי
מספק תמיכה לתסריטים קצרים הודות לשיפור ל־36.6% ב־HumanEval, כל עוד מוודאים את הפלט ידנית.
- עיבוד הוראות מורכבות
שיטת האימון שלו נבנתה במיוחד כדי לעקוב בדייקנות אחרי הנחיות משתמש קשות ומפורטות.
איפה זה נופל
חלון ההקשר מוגבל ל־4,096 טוקנים בלבד, כך שהוא לא מתאים למסמכים ארוכים או להיסטוריית שיחה ממושכת. ב־HumanEval הוא מגרד רק 36.6%, מה שאומר שאי אפשר לסמוך עליו במשימות תכנות מורכבות בלי בדיקה ידנית הדוקה. מעבר לכך, המפתחים מציינים שהנתונים ששימשו לאימון לא שוחררו עקב בדיקות משפטיות ומדיניות פנימית, כך שאין שקיפות לגבי הדאטה שמרכיב אותו.
אותה משפחה
WizardLM יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
איזה פרומפט צריך לשלוח למודל כדי לקבל תוצאה טובה?
המודל מאמץ את הפורמט של Vicuna לשיחות מרובות שלבים. צריך להתחיל בפסקת מערכת שמגדירה עוזר מועיל ומנומס, ולהפריד בין USER לבין ASSISTANT עם תגית סגירה מתאימה בסוף כל תור.
האם אפשר להשתמש במודל הזה במוצר מסחרי?
כן, בניגוד לגרסאות 1.0 ו־1.1 שהיו לשימוש לא מסחרי בלבד, גרסה 1.2 פורסמה תחת רישיון Llama 2 שמתיר שימוש מסחרי בכפוף לתנאים של מטא.
האם המודל מתאים לעבודה עם קבצים ומסמכים גדולים?
לא, חלון ההקשר שלו נעצר ב־4,096 טוקנים. אם תנסו להזין קוד ארוך או טקסטים כבדים, המידע ייחתך והוא יאבד את ההקשר לחלוטין.
איך מריצים
כדי להריץ את המודל בדיוק המקורי של float16 צריך להוריד 24.2 ג'יגה בייט של משקלים, מה שמחייב כרטיס מסך עם לפחות 24 ג'יגה בייט זיכרון דוגמת RTX 3090 או A10. אם אין לכם חומרה כזו, תצטרכו לכמת את המשקלים ל־4 או 8 ביט כדי לדחוס אותו לכרטיסים ביתיים קטנים יותר.
המודל דורש מבנה פרומפט ספציפי שנלקח מ־Vicuna, עם חלוקה ברורה בין פניית משתמש לתשובת עוזר ותגיות סגירה. אם אתם צריכים רק מענה מזדמן ולא יכולים לתחזק שרת GPU ייעודי דולק, קריאה ל־API תהיה זולה ופשוטה משמעותית.
from transformers import pipeline
pipe = pipeline("text-generation", model="WizardLMTeam/WizardLM-13B-V1.2")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 24.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
המודל מופץ תחת רישיון Llama 2 של חברת מטא. הרישיון מאפשר שימוש מסחרי ומחקרי, אך כפוף למגבלות השימוש המקובלות של מטא, כולל הגבלת משתמשים לשירותים ענקיים והתחייבות לכללי שימוש הוגן.
- שימוש מסחרי עד 700 מיליון משתמשים
- שינוי הקוד
- חובת ייחוס