vicuna-7b-v1.5-16k

מה זה

המודל נוצר על ידי LMSYS באמצעות אימון של Llama 2 על כ־125 אלף שיחות שנאספו מ־ShareGPT. בניגוד לגרסאות הבסיס של מטא, הוא מכוון ישירות להתנהגות של עוזר שיחה, כשהאימון בוצע עם הרחבת הקשר באמצעות linear RoPE scaling כדי להתמודד עם רצפים ארוכים של טקסט.

הוא מיועד להרצה בסביבת transformers או FastChat, שמציעה גם ממשק תואם API של OpenAI. התוצאות שלו נבדקו במבחני שופט אוטומטי ובדירוגי העדפת אדם מול מודלים אחרים, שם הוא בולט בעיקר בשיחה חופשית ומענה מובנה יחסית לגודל שבעה מיליארד פרמטרים.

מתאים ל

• בוט שיחה מקומי

  מאפשר להריץ עוזר שיחה שלם בתוך רשת פנימית בלי להוציא מידע החוצה.

• ניתוח שיחות ומסמכים

  התאמה לעיבוד רצפי שיחה ממושכים בזכות האימון הייעודי על טקסטים ארוכים.

• מחקר התנהגות מודלים

  בסיס פתוח ונוח לבדיקות של מנגנוני שפיטה והערכת ביצועי שפה.

איפה זה נופל

יוצרי המודל הגדירו אותו בעיקר למחקר ולתחביבים, ולא כמוצר מוגמר לייצור. הנתונים מגיעים מ־ShareGPT, מה שאומר שהוא סופג הטיות, שגיאות עובדתיות וסגנון תשובות ישירות משיחות רשת בלי סינון מלא. לפני שמשלבים אותו במערכת אמיתית, חייבים לבדוק הזיות בטקסטים ארוכים ולוודא שהוא לא מייצר תוכן בעייתי.

אותה משפחה

vicuna יצא ב־9 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו מקומית צריך להוריד כ־12.6 ג'יגה־בייט של משקלים בפורמט float16. זה דורש כרטיס מסך עם לפחות 16 ג'יגה זיכרון כדי לטעון אותו ולשמור מקום לטוקנים בזמן היסק, במיוחד אם מנצלים הקשר ארוך שמעמיס על ה־VRAM.

אפשר להריץ אותו ישירות מקוד פייתון עם transformers או להרים שרת מקומי דרך FastChat. אם אין לכם חומרה ייעודית זמינה ברציפות, קריאה לשירות ענן מנוהל תהיה זולה ופשוטה יותר מתחזוקת שרת עצמאי.

from transformers import pipeline

pipe = pipeline("text-generation", model="lmsys/vicuna-7b-v1.5-16k")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 12.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin10.0 GB
• pytorch_model-00002-of-00002.bin3.5 GB
• tokenizer.model499.7 KB
• pytorch_model.bin.index.json26.8 KB
• README.md2.1 KB
• .gitattributes1.5 KB
• tokenizer_config.json750 B
• config.json692 B
• special_tokens_map.json438 B
• generation_config.json163 B

הרישיון

הרישיון הוא Llama 2 Community License Agreement. הוא מתיר שימוש מסחרי ומחקרי, אך כפוף למגבלות של מטא, כולל מגבלת משתמשים חודשיים בקנה מידה ענק ואיסור על שימוש בפלט לאימון מודלים מתחרים. בנוסף, יש לזכור שהאימון כלל מידע מ־ShareGPT, גורם שחברות מסוימות בוחנות בזהירות מבחינה משפטית.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗