GPT
הוספת כלי
V

vicuna-7b-delta-v1.1

קוד פתוח

lmsysרישיון לא דווח2023-04-12

  • transformers
  • pytorch
  • llama
  • text-generation
  • text-generation-inference

גרסת דלתא שנועדה להפוך את משקלי LLaMA המקוריים לצ'אטבוט מבוסס שיחות משתמשים. היא שימושית בעיקר למי שחוקר את התפתחות המודלים המוקדמים של FastChat.

  • 2,048טוקנים בהקשר
  • 12.6 GBמשקל הקבצים
  • 174הורדות בחודש
  • 200לייקים

מה זה

מדובר במודל שנוצר באמצעות כוונון עדין של LLaMA המקורית על גבי כ־70 אלף שיחות שנאספו מאתר ShareGPT. המטרה שלו היא לשמש כעוזר שיחה, והוא הותאם לעקוב אחרי הוראות ולנהל דיאלוג פתוח. במקום לספק משקלים מלאים ומוכנים, הקבצים כאן מכילים רק את ההפרש לעומת המודל המקורי, שיטה שנועדה לעקוף בעבר מגבלות הפצה.

המבנה שלו נשען על 32 שכבות עם חלון הקשר קצר של 2,048 טוקנים. הוא הוערך באמצעות העדפות אנושיות, מבחני ביצועים מקובלים ושיטת הערכה שבה מודל שפה משמש כשופט. אם אתם מחפשים מודל מודרני לעבודה שוטפת, הגרסה הזו ישנה ודפי הפרויקט עצמם כבר מצביעים על גרסאות משקלים חדשות יותר.

מתאים ל

  • מחקר היסטורי של מודלים

    שחזור תוצאות מחקר מוקדמות שהתבססו על גרסאות הדלתא של FastChat.

  • ניסויי התאמת משקלים

    בדיקת תהליכי חיבור משקלי דלתא על גבי מודל הבסיס של LLaMA.

  • בוט שיחה לשימוש אישי

    הרצה מקומית לצורכי לימוד בלבד, למי שמחזיק במשקלי הבסיס.

איפה זה נופל

המגבלה הכי קריטית היא חוסר היכולת להשתמש בקבצים כמו שהם. מעבר לזה, חלון הקשר של 2,048 טוקנים קצר מאוד לסטנדרטים הנוכחיים, מה שיגרום לו לאבד הקשר מהר בשיחות ארוכות או בניתוח מסמכים. האימון על שיחות ShareGPT חשוף להטיות וחוסר דיוקים שהיו קיימים בשיחות המקוריות, והיוצרים מגדירים אותו ככלי למחקר ולחובבים בלבד ולא למערכות ייצור.

אותה משפחה

vicuna-7b-delta יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

vicuna-7b-delta-v0148

שאלות
נפוצות

למה המודל לא נטען לי ישירות בספריית transformers?

הקבצים האלה הם רק קבצי דלתא, כלומר הפרש השינויים, ולא מודל עצמאי. כדי להפעיל אותו חובה להריץ קוד ייעודי שממזג את הקבצים האלה יחד עם משקלי LLaMA המקוריים שברשותכם.

האם כדאי לבחור בגרסה הזו לפרויקט חדש?

לא. זו גרסה ישנה מגרסאות v1.1, והיוצרים עצמם ממליצים לעבור לגרסאות חדשות יותר. בנוסף, ההתעסקות עם מיזוג משקלי דלתא מיותרת כיום לאור קיומם של מודלים מודרניים וחופשיים להורדה ישירה.

אפשר להשתמש במודל הזה בעסק שלי?

ממש לא. כרטיס המודל מגדיר את הרישיון כלא־מסחרי בלבד, והוא מיועד אך ורק לחוקרים ולחובבים בתחום עיבוד השפה הטבעית.

איך מריצים

אי אפשר להוריד את הקבצים האלה ולהריץ אותם ישירות. תצטרכו להשיג בנפרד את המשקלים המקוריים של LLaMA הראשונה, ואז להשתמש בסקריפט ההמרה של ספריית FastChat כדי לחבר בין הדלתא למקור וליצור את המשקלים הסופיים. גודל הקבצים כאן עומד על 12.6 ג'יגה־בייט, כך שלאחר ההרכבה תצטרכו כרטיס מסך עם לפחות 16 ג'יגה־בייט של זיכרון כדי להריץ אותו בדיוק המקורי ללא קוונטיזציה.

אם אין לכם גישה למשקלי המקור או שאין לכם צורך היסטורי ספציפי בהרכבה ידנית, עדיף להשתמש במודלים חדשים ופתוחים יותר להורדה ישירה או לפנות ל־API חיצוני במקום להתעסק בבניית המשקלים.

from transformers import pipeline

pipe = pipeline("text-generation", model="lmsys/vicuna-7b-delta-v1.1")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 12.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הרשמי לא דווח במטא־דאטה של העמוד, אך בכרטיס המודל מוגדר רישיון לא מסחרי. בנוסף, בגלל התלות במשקלי LLaMA המקוריים ששוחררו למחקר בלבד ובדאטה שמקורו מ־ShareGPT, אין שום אפשרות חוקית להשתמש בתוצר הזה במוצר מסחרי או בחברה. השימוש מוגבל למחקר אקדמי ולניסויים אישיים בלבד.

הרישיון המלא בעמוד המודל ↗