vicuna-13b-delta-v1.1

מה זה

מדובר בעדכון משקלים שנועד להפוך את לאמה של מטא למודל שיחה. האימון התבסס על כיוונון עדין עם הנחיות, תוך שימוש בכ־70,000 שיחות שנאספו ממשתמשים באתר ShareGPT. הרעיון היה לבדוק איך ארכיטקטורה של מודל שפה גנרי בגודל של כ־13 מיליארד פרמטרים מתנהגת כעוזר אישי כשמזינים לה דיאלוגים מורכבים.

היוצרים בחנו את התוצאות מול בנצ'מרקים סטנדרטיים, העדפות אנושיות והערכה של מודל שופט. במקום להסתפק במדדים יבשים של יצירת טקסט, המדידה התמקדה ביכולת לנהל שיחה קולחת ולענות על שאלות. התוצאות האלה הובילו להקמת לוח התוצאות של הפרויקט ולבדיקת התנהגות מודלים בשיחה פתוחה מול משתמשים.

מתאים ל

• מחקר על מודלי שיחה

  מתאים לניתוח ביצועים של מודלים מוקדמים שאומנו על דאטה שנאסף ממשתמשים.

• שחזור ניסויי עבר

  רלוונטי לבדיקת מאמרים ומדדים שפורסמו סביב גרסה 1.1 של הפרויקט.

• הערכת שופט אוטומטי

  טוב לבחינת מתודולוגיות הערכה שמשוות פלטים של עוזרי שיחה שונים.

איפה זה נופל

חלון ההקשר מוגבל ל־2,048 טוקנים בלבד, מה שמקשה מאוד על שיחות ארוכות או קריאת מסמכים מורכבים. מעבר לכך, המודל אומן על שיחות גולשים ולא עבר סינון תאגידי כבד, כך שהוא עלול לפלוט מידע שגוי בביטחון מלא. הוא פותח בעיקר ככלי מחקרי, ולא כבסיס יציב למערכת שצריכה לעבוד מול לקוחות אמיתיים.

אותה משפחה

vicuna-13b-delta יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

אי אפשר להוריד את הקבצים האלה ולהריץ אותם ישירות. מדובר במשקלי דלתא בנפח של 24.2 ג'יגה בייט, שחייבים להלביש ידנית על גבי משקלי לאמה המקורית של מטא כדי לקבל את המודל הסופי בזיכרון. תצטרכו כרטיס מסך עם לפחות 24 ג'יגה בייט של זיכרון כדי לטעון אותו בדיוק של 16 ביט.

מי שאין לו את משקלי הבסיס המקוריים של מטא לא יכול לעשות שום דבר עם המאגר הזה. בנוסף, יש כבר גרסאות חדשות יותר של המשקלים שהיוצרים ממליצים לבדוק, כך שהרצה של הגרסה הזו מתאימה בעיקר למחקר היסטורי או לשחזור נקודתי.

from transformers import pipeline

pipe = pipeline("text-generation", model="lmsys/vicuna-13b-delta-v1.1")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 24.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00003.bin9.9 GB
• pytorch_model-00002-of-00003.bin9.9 GB
• pytorch_model-00003-of-00003.bin6.2 GB
• tokenizer.model499.7 KB
• pytorch_model.bin.index.json33.4 KB
• README.md2.3 KB
• .gitattributes1.5 KB
• tokenizer_config.json727 B
• config.json578 B
• special_tokens_map.json411 B
• generation_config.json137 B

הרישיון

היוצרים מציינים בכרטיס המודל שמדובר ברישיון לא מסחרי, למרות שבשדה הרישיון הרשמי לא דווח ערך. השימוש מוגבל למחקר, חובבים וניסויים בלבד. אי אפשר לקחת את המשקלים האלה, להרכיב אותם, ולהפיץ מוצר מסחרי שמבוסס עליהם.

הרישיון המלא בעמוד המודל ↗