vicuna-7b-v1.3

מה זה

מדובר בעוזר שיחה שנוצר מתוך כיוונון ישיר של מודל לאמה המקורי של מטא על גבי כ־125 אלף שיחות שנאספו מאתר שר-ג'י-פי-טי. המטרה של המפתחים הייתה לייצר צ'אטבוט קומפקטי שמחקה את סגנון התשובות של מודלים גדולים יותר, בלי להיכנס לעלויות אימון מפלצתיות. התוצאה היא מודל שיודע לענות על שאלות, לנהל שיחה רציפה ולספק טקסט מגוון לפי הנחיות ברורות.

ההבדל העיקרי בינו לבין מודלים בסיסיים בגודל של שבעה מיליארד פרמטרים מאותה תקופה הוא המיקוד באינטראקציה מול אדם. הוא אומן ישירות להגיב כמו עוזר וירטואלי ולא סתם להשלים את המשפט הבא. הביצועים שלו נמדדו במבחני שפה סטנדרטיים, בהעדפות של בודקים אנושיים ובשיפוט אוטומטי של מודל שפה שופט, מה שהפך אותו לאחד הכלים הבולטים בלידרבורד של הפרויקט בזמן שיצא.

עם זאת, חשוב לזכור שזה מודל מיוני 2023. הוא מבוסס על הדור הראשון של לאמה, ולכן חלון ההקשר שלו מוגבל מאוד ביחס למה שמקובל לראות היום בשוק.

מתאים ל

• מחקר על צ'אטבוטים

  מתאים לבדיקת שיטות כיוונון והערכת איכות שיחה על חומרה מקומית צנועה.

• ניסויי מעבדה ב־NLP

  מיועד לחוקרים שרוצים להבין השפעה של דאטהסט משיחות על מודל שפה פתוח.

• שרת צ'אט אישי לא מקוון

  עובד כעוזר מקומי למחשב אישי עם כרטיס מסך מתאים, בלי תלות ברשת.

איפה זה נופל

חלון ההקשר עומד על 2,048 טוקנים בלבד, שזה מעט מאוד לשיחות ארוכות או לניתוח קבצים. מעבר לזה, המודל הזה מוגדר רשמית כגרסה ישנה ויש לה משקלים מעודכנים יותר במאגר של הפרויקט. האימון מבוסס על נתונים שנאספו משיחות פומביות ברשת, כך שאין שום סינון עסקי והוא עלול לחזור על טעויות, להמציא עובדות או לפלוט מידע שגוי. הכרטיס מייעד אותו במפורש לחוקרים ולחובבים, לא לשימוש במערכות שדורשות אמינות גבוהה.

אותה משפחה

vicuna יצא ב־9 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־12.6 ג'יגה-בייט בדיוק של פלוט 16, והם מחולקים לעשרה קבצים שרצים דרך ספריית טרנספורמרס או דרך הכלים של פאסט-צ'אט. כדי להריץ אותו מקומית בלי בעיות תצטרכו כרטיס מסך עם לפחות 16 ג'יגה-בייט זיכרון גרפי, אחרת המודל פשוט יזלוג לזיכרון הראשי והתגובות יזחלו.

המפתחים מעמידים גם ממשק שורת פקודה וחיבור תואם איי-פי-איי בסגנון אופן-איי-איי דרך המאגר שלהם. אם אין לכם חומרה ייעודית זמינה, החזקה של שרת ייעודי בשבילו תעלה יותר מקריאות פשוטות לשירות קיים, במיוחד בהתחשב בזה שיש למודל גרסאות חדשות יותר.

from transformers import pipeline

pipe = pipeline("text-generation", model="lmsys/vicuna-7b-v1.3")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 12.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin10.0 GB
• pytorch_model-00002-of-00002.bin3.5 GB
• tokenizer.model499.7 KB
• pytorch_model.bin.index.json26.8 KB
• README.md2.0 KB
• .gitattributes1.5 KB
• tokenizer_config.json727 B
• config.json566 B
• special_tokens_map.json435 B
• generation_config.json132 B

הרישיון

למרות שבעמוד המודל נרשם שלא דווח רישיון, בכרטיס המודל המפתחים מציינים במפורש רישיון לא מסחרי. הסיבה היא הבסיס שלו, שמסתמך על לאמה המקורית ועל נתונים משיחות משתמשים. לכן, אי אפשר לשלב אותו במוצר מסחרי, למכור שירותים סביבו או להריץ אותו בפרודקשן של חברה, והוא מוגבל למחקר, ניסויים אישיים ופיתוח פנימי בלבד.

הרישיון המלא בעמוד המודל ↗