GPT
הוספת כלי
W

WizardLM-2-7B

קוד פתוח

dreamgenapache-2.02024-04-16

  • transformers
  • safetensors
  • mistral
  • text-generation
  • text-generation-inference

גרסת שבעה מיליארד פרמטרים שמבוססת על מיסטרל ומכוונת להחזיר ביצועים של מודלים גדולים בהרבה. היא מתאימה למי שחייב מודל קל משקל להרצה עצמית בלי לוותר על יכולות שיחה מורכבות.

  • 7.2Bפרמטרים
  • 32,768טוקנים בהקשר
  • 13.5 GBמשקל הקבצים
  • 1,713הורדות בחודש

מה זה

מדובר במודל שמבוסס על Mistral-7B-v0.1 ואומן מחדש בעזרת מערכת שמייצרת מידע סינתטי. המפתחים שלו כיוונו ישירות למשימות שיחה, כתיבת קוד, פתרון בעיות מתמטיות ויכולות הפעלה של סוכנים, כשהמטרה היא לסחוט את המקסימום מחומרה צנועה יחסית.

לפי המבחנים שהמפתחים מציגים, במבחן MT-Bench הוא מוביל מול מודלים אחרים בקטגוריית הגודל שלו. בהשוואות מול בני אדם שבדקו הוראות מורכבות בעולם האמיתי, הם טוענים שהוא מציג תוצאות דומות ל־Qwen1.5-32B-Chat ועוקף גרסאות כמו Qwen1.5-14B ו־Starling-LM-7B-beta. בפועל זה אומר שאפשר לקבל יכולות של מודל בינוני בלי לשלם על הזיכרון שלו.

מתאים ל

  • בוט שיחה על חומרה מקומית

    חלון הקשר של 32,768 טוקנים ומבנה שיחה ייעודי מאפשרים לנהל דיאלוג רציף בכרטיס מסך בודד.

  • כתיבת קוד ובדיקות פשוטות

    האימון כלל משימות תכנות ומאפשר הפקת קטעי קוד ממוקדים בלי לפנות למודלים ענקיים.

  • סוכנים אוטומטיים קלים

    התאמה למשימות agent שדורשות מעקב אחרי הוראות מורכבות בתוך סביבה מוגבלת במשאבים.

איפה זה נופל

למרות ההשוואות למודלים גדולים, זה עדיין מודל של שבעה מיליארד פרמטרים. אם המשימה דורשת זיכרון עובדתי רחב מאוד או פתרון שרשראות לוגיות עמוקות בלי כשלים, הוא יתחיל להמציא דברים מהר יותר מגרסאות ה־70B או מודלי ענן מסחריים. תלות נוספת היא תבנית השיחה של Vicuna, סטייה ממנה עלולה לפגוע קשות באיכות התשובות.

שאלות
נפוצות

האם המודל תומך בריבוי שפות ועברית?

הכרטיס מציין תמיכה בריבוי שפות כחלק ממטרות האימון. עם זאת, הוא מבוסס על Mistral-7B-v0.1 ולכן כדאי לבדוק בפועל את איכות התחביר והאוצר המילים בעברית לפני שילוב במערכת.

האם אפשר לשלוח אליו פרומפט רגיל בלי מבנה מיוחד?

לא מומלץ. המפתחים מציינים במפורש שיש להשתמש בפורמט השיחה של Vicuna כדי לקבל את הביצועים המדווחים, אחרת איכות התשובות תרד בצורה חדה.

איך מריצים

המשקל הכולל של הקבצים עומד על 13.5 גיגה בייט בדיוק של bfloat16, כך שתצטרכו כרטיס מסך עם לפחות 16 גיגה זיכרון כדי לטעון אותו כמו שהוא דרך ספריית transformers. אם אין לכם חומרה כזו מקומית, עדיף להשתמש בשרת ענן ייעודי לפי שעה או לפנות לממשק חיצוני שמארח אותו.

חשוב לשים לב לתבנית הפרומפט בעת ההרצה. המודל דורש מבנה ספציפי שמבוסס על הפורמט של Vicuna, כולל שורת פתיחה קבועה וחלוקה ברורה ל־USER ו־ASSISTANT עם טוקן סיום מתאים בכל תור.

from transformers import pipeline

pipe = pipeline("text-generation", model="dreamgen/WizardLM-2-7B")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מדווח כ־Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה חוזרת במוצרים שלכם, כל עוד שומרים על הודעות זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗