vicuna-7b-delta-v0
קוד פתוחlmsysרישיון לא דווח2023-04-06
מודל שיחה שמבוסס על כוונון של לאמה המקורית על שיחות משתמשים. הוא מיועד למי שמחפש לשחזר סביבת מחקר היסטורית ולא מודל מוכן לעבודה מיידית מהקופסה.
- 2,048טוקנים בהקשר
- 12.6 GBמשקל הקבצים
- 148הורדות בחודש
- 164לייקים
מה זה
מדובר במודל שיחה שנולד מתוך כוונון של מודל הבסיס של מטא על גבי כ־70 אלף שיחות שנאספו מהאתר ShareGPT. המטרה של היוצרים היתה לבדוק איך אימון על שיחות אמיתיות משפר את היכולת של ארכיטקטורת רשת קיימת לענות כעוזר אישי. ההערכה שלו נעשתה מול מבחנים סטנדרטיים, העדפות של בני אדם, ושיפוט שבוצע בעזרת מודל שפה אחר.
ההבדל המרכזי כאן מול מודלים רגילים שתורידו הוא שמדובר בקבצי דלתא בלבד מגרסה ישנה. המפתחים לא חילקו משקלים מלאים, אלא רק את ההפרש שנוצר בכוונון, בגלל מגבלות ההפצה של מודל הבסיס המקורי באותה תקופה. מי שבוחר להתעסק איתו מקבל חלון הקשר קצר של 2,048 טוקנים שמוגבל מאוד ביחס למה שמקובל כיום, יחד עם 32 שכבות בדיוק של 16 ביט. זה קובץ שמתאים בעיקר למי שחוקר את ההתפתחות של פרויקט פאסט-צ'אט מתחילתו, ופחות למי שמחפש עוזר חכם למשימות שוטפות שדורשות קריאת מסמכים ארוכים או מעקב אחרי שיחות מפותלות ומורכבות.
מתאים ל
- שחזור תוצאות מחקר
בדיקה והשוואה של התוצאות הראשוניות שפורסמו במאמר המקורי של הפרויקט.
- לימוד תהליך מיזוג
תרגול טכני של הרכבת משקלי דלתא על מודלי בסיס ישנים בסביבה מקומית.
- ניתוח נתוני עבר
בחינת ההשפעה של סט הנתונים משרג'יפיטי על מודל בסיס פשוט ללא תוספות.
איפה זה נופל
הבעיה המרכזית היא שלא מדובר במודל עצמאי אלא בהפרש משקלים שמחייב קבצי מקור חיצוניים ועבודה ידנית כדי לעבוד. מעבר לזה, המודל מתבסס על גרסה אפס ישנה, והמפתחים בעצמם מפנים כבר בדף לגרסאות חדשות יותר שיצאו בהמשך. חלון ההקשר מוגבל לאלפיים טוקנים בלבד, מה שגורם לו לאבד את חוט השיחה מהר מאוד מול טקסטים ארוכים.
אותה משפחה
vicuna-7b-delta יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
אפשר להריץ את המודל מיד אחרי ההורדה?
לא, הקבצים כאן מכילים רק את ההפרש ממשקלי הבסיס. תצטרכו להשיג בנפרד את המשקלים של מודל הבסיס המקורי ולהריץ סקריפט ייעודי שמחבר ביניהם.
למה מופיעה אזהרה על גרסה חדשה?
הפרויקט התקדם במהירות והוציא גרסאות מתקדמות יותר של המשקלים ושל תהליך האימון. היוצרים ממליצים לגשת ישירות לגרסאות החדשות ולא להשתמש בגרסה זו.
איך מריצים
אי אפשר להריץ את הקבצים האלה ישירות מהספרייה. אתם חייבים להחזיק קודם את משקלי הבסיס המקוריים של לאמה, ואז להשתמש בסקריפט ההמרה של הפרויקט כדי למזג את הדלתא וליצור משקלים שלמים ששוקלים מעל 12 ג'יגה בייט.
אחרי המיזוג תצטרכו כרטיס מסך עם לפחות 16 ג'יגה בייט זיכרון כדי לטעון אותו בדיוק המקורי, או לבצע דחיסה כדי להסתפק בפחות. אם אין לכם את משקלי הבסיס המקוריים בהישג יד, אין שום טעם להוריד את הקבצים האלה, ועדיף להשתמש בגרסאות מאוחרות יותר או לפנות ישירות לשרתי צד שלישי.
from transformers import pipeline
pipe = pipeline("text-generation", model="lmsys/vicuna-7b-delta-v0")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 12.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
בדף המודל בהאגינג פייס לא דווח רישיון מסודר בשדה המיועד, אך בתיאור הטקסטואלי נכתב במפורש שמדובר ברישיון לא מסחרי. בנוסף הוא נשען על משקלי הבסיס המקוריים של פייסבוק, כך שאי אפשר לשלב אותו במוצרים מסחריים או לגבות עליו כסף, והוא מותר לצורכי מחקר בלבד.