GPT
הוספת כלי
S

stable-vicuna-13b-delta

קוד פתוח

CarperAIcc-by-nc-sa-4.02023-04-26

  • transformers
  • pytorch
  • llama
  • text-generation
  • causal-lm

גרסת צ'אט מוקדמת שמבוססת על שילוב של Vicuna עם אימון חיזוק ממשוב אנושי. מי שיבחר בה מחפש מודל שיחה של 13 מיליארד פרמטרים שאומן ישירות על העדפות משתמשים.

  • 2,048טוקנים בהקשר
  • 24.2 GBמשקל הקבצים
  • 109הורדות בחודש
  • 454לייקים

מה זה

המודל הזה לוקח את Vicuna-13B v0 ומבצע עליו כוונון עדין נוסף בעזרת אלגוריתם PPO ואימון חיזוק ממשוב אנושי. בסיס הנתונים ששימש לאימון מורכב מתערובת של מאגרי שיחות והוראות, כולל OpenAssistant שמכיל 161,443 הודעות, מאגר של nomic עם 400 אלף פרומפטים מבוססי GPT-4, ומאגר Alpaca עם 52 אלף הוראות מבוססות מנוע דווינצ'י של OpenAI.

מודל התגמול ששימש לדירוג התשובות נשען על נתוני העדפות מגוונים, בהם מאגר Anthropic שמתמקד במועילות והימנעות מנזק, ומאגר של סטנפורד עם 385 אלף העדפות משתמשים בתחומים שנעים מבישול ועד ייעוץ משפטי. השילוב הזה נועד לייצר שיחה טבעית שמכוונת לענות להוראות מורכבות ולא רק להשלים טקסט סטטיסטי, תוך שימוש בארכיטקטורת LLaMA המקורית בעלת 40 שכבות.

הקבצים שמופצים כאן הם קבצי דלתא בלבד בנפח של 24.2 ג'יגה בייט. המשמעות היא שאין פה משקולות שלמות שעובדות מיד, אלא רק את השינויים שבוצעו על מודל הבסיס, מה שדורש תהליך הרכבה לפני שבכלל אפשר לבצע איתו משימת יצירת טקסט.

מתאים ל

  • מחקר על אלגוריתם PPO

    ניתוח תוצאות של אימון חיזוק באמצעות משוב אנושי על גבי ארכיטקטורת LLaMA ישנה.

  • סוכן שיחה פנימי באנגלית

    הרצת צ'אט לשימוש עצמי ומחקרי על גבי מחשב מקומי בעל כרטיס מסך חזק.

  • בדיקת איכות של מענה להוראות

    בחינת יכולות המענה והניסוח שנלמדו ממאגרי ההוראות של Alpaca ו־OpenAssistant.

איפה זה נופל

חלון ההקשר מוגבל ל־2,048 טוקנים בלבד, מה שמונע ממנו לנהל שיחות ארוכות או לנתח מסמכים רחבים בלי לקטוע את המידע. הכרטיס מציין במפורש שהיוצרים לא בדקו כיצד הכוונון הנוסף השפיע על רמת הרעילות וההטיות של מודל הבסיס, כך שהוא עלול לייצר תוכן פוגעני, שגוי או מטעה. מעבר לכך, המודל אומן על אנגלית בלבד וללא התאמה ייעודית לשפות אחרות.

שאלות
נפוצות

האם אפשר להריץ את המודל מיד אחרי ההורדה מ־Hugging Face?

לא. המאגר מכיל רק קבצי הפרש ולא את המודל המלא. צריך להחזיק עותק של LLaMA 13B המקורי ולהריץ את הסקריפט apply_delta.py כדי למזג את השינויים ולקבל מודל עובד.

האם המודל מתאים לפיתוח בוט שירות בעברית?

לא מומלץ בכלל. המודל הוגדר ואומן עבור השפה האנגלית בלבד, ואימון ה־RLHF שלו התמקד במאגרים דוברי אנגלית, כך שהבנת עברית תהיה משובשת והתשובות לא יהיו אמינות.

איך מריצים

אי אפשר להשתמש בקבצים האלה ישירות דרך הספרייה. חובה להחזיק מראש את המשקולות המקוריות של LLaMA 13B, ולהריץ סקריפט פייתון ייעודי בשם apply_delta שמחבר את קבצי ההפרש אל מודל הבסיס כדי לקבל תיקיית משקולות שלמה.

אחרי החיבור, טעינת המודל מתבצעת ברמת דיוק של float16 ודורשת מעבד גרפי עם לפחות 26 עד 28 ג'יגה בייט של זיכרון וידאו, מה שמחייב כרטיס מקצועי או שני כרטיסים ביתיים חזקים. אם אין ברשותכם את מודל הבסיס המקורי של מטא או את החומרה המתאימה, עדיף להשתמש במודלים מודרניים דרך ספקי ענן במקום להסתבך עם סקריפטים של המרה וגרסאות ישנות של transformers.

from transformers import pipeline

pipe = pipeline("text-generation", model="CarperAI/stable-vicuna-13b-delta")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 24.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון של קבצי הדלתא הוא cc-by-nc-sa-4.0, שאוסר במפורש כל שימוש מסחרי ומחייב שיתוף תחת אותם תנאים. בנוסף, מודל הבסיס כפוף לרישיון המחקר המקורי והסגור של מטא, כך שאי אפשר להטמיע אותו בשום צורה במוצר מסחרי או בחברה שמפיקה ממנו רווח.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗