GPT
הוספת כלי
V

vicuna-13b-delta-v0

קוד פתוח

lmsysרישיון לא דווח2023-04-03

  • transformers
  • pytorch
  • llama
  • text-generation
  • text-generation-inference

משקלי דלתא היסטוריים לשיחות צ'אט שמבוססים על הדור הראשון של LLaMA. מיועדים בעיקר למי שחוקר גרסאות ישנות ומחזיק במשקלי המקור.

  • 2,048טוקנים בהקשר
  • 24.2 GBמשקל הקבצים
  • 529הורדות בחודש
  • 451לייקים

מה זה

מדובר במודל שיחה שנוצר מאימון של LLaMA המקורי על שבעים אלף שיחות משתמשים מתוך ShareGPT. הוא מיועד למשימות של יצירת טקסט ומענה בצורת צ'אט, בארכיטקטורה של ארבעים שכבות וחלון הקשר של 2,048 טוקנים. ההערכה שלו בוצעה במקור באמצעות מבחנים מקובלים, העדפות אנושיות ושיפוט מבוסס מודלים בלוח התוצאות של Chatbot Arena.

הייחוד הטכני כאן, שגם מקשה על העבודה, הוא שמדובר רק בהפרש המשקלים ולא במודל עצמאי. בזמן שחרורו LLaMA לא חולק באופן חופשי, ולכן היוצרים הפיצו רק את הדלתא ביחס לקבצים המקוריים.

מתאים ל

  • מחקר היסטורי של מודלים

    בדיקת ההתפתחות המוקדמת של אימוני שיחה על בסיס LLaMA מול גרסאות מתקדמות יותר.

  • שחזור ניסויים אקדמיים

    השוואת ביצועים מול נתונים שפורסמו במאמרים שהשתמשו ספציפית בגרסה v0.

  • ניסויי שילוב משקלים

    בדיקה של תהליכי מיזוג דלתא מעל קובצי מקור בסביבת FastChat מקומית.

איפה זה נופל

הקבצים האלה חסרי תועלת לחלוטין בפני עצמם ללא משקלי הבסיס המקוריים. מעבר לזה, מדובר בגרסה v0 המוקדמת, והיוצרים עצמם מציינים במפורש שיש גרסאות משקלים חדשות יותר ושעדיף לעבור אליהן. חלון ההקשר מוגבל מאוד ועומד על 2,048 טוקנים בלבד, מה שמקשה על ניתוח מסמכים ארוכים או שיחות מתמשכות.

אותה משפחה

vicuna-13b-delta יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

vicuna-13b-delta-v1.1153

שאלות
נפוצות

האם אפשר להשתמש במודל הזה מיד אחרי ההורדה מהאתר?

לא. מדובר במשקלי דלתא בלבד, שאינם מכילים את המודל המלא. חייבים להחזיק בקובצי LLaMA המקוריים ולהפעיל כלי מיזוג כדי לייצר מודל עובד.

האם כדאי לבחור בגרסה הזו לפרויקט צ'אט חדש?

לא מומלץ. יוצרי הפרויקט מפנים לגרסאות משקלים מעודכנות יותר של Vicuna, וגרסה v0 נחשבת לישנה מאוד ומוגבלת.

איך מריצים

אי אפשר להוריד את 24.2 הגיגה בייט האלה ולהריץ מיד בתוכנה שלכם. צריך להחזיק מראש במשקלי LLaMA המקוריים, להריץ סקריפט של ספריית FastChat שממזג בין השניים, ורק אז מקבלים משקלים שלמים לעבודה בדיוק של float16.

הרצה של 13 מיליארד פרמטרים בגודל הזה דורשת כרטיס מסך חזק עם לפחות 24 גיגה זיכרון גרפי, או שימוש בריבוי כרטיסים. אם אין לכם את משקלי הבסיס הישנים או שרת ייעודי פנוי, עדיף להשתמש ב־API מודרני.

from transformers import pipeline

pipe = pipeline("text-generation", model="lmsys/vicuna-13b-delta-v0")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 24.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מסומן עם רישיון לא מסחרי בכרטיס המודל, אף שבמטא דאטה של המאגר הרישיון מוגדר כלא מדווח. השימוש מיועד אך ורק למחקר עצמאי ולחובבים בתחום עיבוד השפה. אל תכניסו אותו לקוד של מוצר מסחרי או לשירות בתשלום.

הרישיון המלא בעמוד המודל ↗