GPT
הוספת כלי
W

wizard-mega-13b

קוד פתוח

openaccess-ai-collectiveרישיון לא דווח2023-05-14

  • transformers
  • pytorch
  • llama
  • text-generation
  • en

שילוב של שלושה מאגרי הוראות מעובדים על בסיס LLaMA בגודל בינוני. הוא נבנה עבור מי שמחפש מודל שיחה חופשי יחסית שממעט לסרב או להתנצל.

  • 2,048טוקנים בהקשר
  • 24.2 GBמשקל הקבצים
  • 126הורדות בחודש
  • 106לייקים

מה זה

מדובר בכוונון עדין של LLaMA 13B באמצעות הכלי Axolotl, שרץ על שמונה מעבדי A100 במשך 15 שעות. המטרה היתה לחבר יחד נתונים ממאגרי ShareGPT, WizardLM ו־Wizard-Vicuna. הייחוד העיקרי במאגרים האלה הוא סינון אגרסיבי של תשובות מתחמקות, כך שהמודל נועד לענות ישר בלי לפתוח בהצהרות על היותו מודל שפה ממוחשב.

האימון נעצר מוקדם מהמתוכנן, אחרי שני מחזורים בלבד במקום שלושה, מכיוון שהשגיאה במבחן ההערכה החלה לעלות במחזור השלישי. בנוסף, היוצרים עצמם ציינו בעמוד הפרויקט שהגרסה הזו כבר הוחלפה בגרסה חדשה יותר בשם Manticore 13B, אשר מטפלת בבעיות שהתגלו כאן ומוסיפה נתוני אימון נוספים.

מתאים ל

  • הפקת קוד פשוט באנגלית

    מתאים לפתרון בעיות תכנות בסיסיות וכתיבת פונקציות מוגדרות היטב עם זיכרון מטמון.

  • מענה ישיר ללא התנצלויות

    שימושי למשימות שבהן רוצים תשובה חדה בלי ניסוחי התחמקות של עוזר וירטואלי.

  • מחקר על שילובי מאגרים

    טוב לבחינת ההשפעה של איחוד מערכי נתונים מסוננים על בסיס ארכיטקטורת LLaMA.

איפה זה נופל

היוצרים מדגישים שהמודל לא עבר שום תהליך התאמה להעדפות אנושיות כמו משוב אנושי מחוזק, ואין בו סינון תשובות מובנה. המשמעות היא שהוא עלול לפלוט תוכן פוגעני או שגוי, במיוחד אם מבקשים זאת ישירות. חלון ההקשר קצר ועומד על 2,048 טוקנים בלבד, והשפה היחידה שצוינה באימון היא אנגלית, כך שאין להסתמך עליו בעיבוד טקסט בעברית.

שאלות
נפוצות

האם כדאי להשתמש בו לפרויקט חדש?

עדיף לבדוק קודם את Manticore 13B. היוצרים עצמם עדכנו שהוא מחליף את המודל הזה ומתקן בעיות שהתגלו בו.

האם אפשר להריץ אותו על מחשב ביתי בלי כרטיס מסך חזק?

הקבצים המקוריים שוקלים מעל 24 ג'יגה, אך קיימת גרסת GGML מכומתת שמאפשרת הרצה על מעבד רגיל במחיר של פגיעה קלה באיכות.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־24.2 ג'יגה־בייט בדיוק bfloat16 על פני ארבעים שכבות, כך שנדרש כרטיס מסך עם לפחות 24 ג'יגה זיכרון כדי לטעון אותו ישירות ברמת דיוק מלאה. עבור חומרה חלשה יותר או הרצה מקומית על מעבד רגיל, קיימת גרסה מכומתת בפורמט GGML שהיוצרים העלו למרחב הדגמה ייעודי.

אם אין לכם שרת ייעודי או צורך בשינוי פנימי של המשקלים, כדאי לשקול פנייה לשרתי הסקה מנוהלים. ממילא המודל הוגדר כשלב ביניים לפני גרסת Manticore, ולכן פריסה עצמאית שלו דורשת שיקול של עלויות הברזלים מול החלופות המעודכנות.

from transformers import pipeline

pipe = pipeline("text-generation", model="openaccess-ai-collective/wizard-mega-13b")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 24.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון לא דווח בעמוד המודל. מעבר לכך שהוא מבוסס על LLaMA הראשונה ועל מאגרים שנגזרו משיחות עם מערכות קנייניות, היעדר רישיון מפורש מונע שימוש מסחרי מסודר ומשאיר אותו לצרכי מחקר ובדיקות בלבד.

הרישיון המלא בעמוד המודל ↗