vicuna-7b-v1.5
קוד פתוחlmsysllama22023-07-29
גרסת צ'אט שאומנה על שיחות משתמשים אמיתיות מתוך שרפגפט על בסיס לאמה שתיים. מתאים למי שרוצה בוט שיחה מקומי וקומפקטי בלי לפתח אימון הנחיות מאפס.
- 4,096טוקנים בהקשר
- 12.6 GBמשקל הקבצים
- 35,030הורדות בחודש
- 402לייקים
מה זה
מדובר במודל שפה שנולד מאימון הנחיות מפוקח על בסיס לאמה שתיים, כשהדאטה מורכב מכמאה עשרים וחמישה אלף שיחות שנאספו מאתר שרפגפט. היוצרים שלו מ־LMSYS כיוונו אותו לשמש כעוזר שיחה, והוא בנוי על ארכיטקטורת השנאים הרגילה של המודל המקורי עם שלושים ושתיים שכבות.
במקום לקבל מודל גולמי שצריך ללמד איך לענות למשתמש, מקבלים כאן גרסה שכבר מכירה סגנון של דו־שיח. המפתחים בחנו אותו מול בנצ'מרקים מקובלים, העדפות אנושיות ושיפוט מבוסס מודלים אחרים, כך שהוא נותן מענה ישיר לבקשות בלי צורך בהנדסת פרומפטים מורכבת.
מתאים ל
- עוזר שיחה מקומי
מתאים למי שצריך בוט לשיחה חופשית שרץ על חומרה מקומית סבירה בלי לשלוח נתונים החוצה.
- מחקר על התנהגות מודלים
מיועד לבדיקת הטיות, איכות תשובות ומדדי שיפוט אוטומטיים על פי הגדרת היוצרים.
- בדיקת פרומפטים ב־FastChat
עובד חלק עם תשתית FastChat ומאפשר לדמות תגובות של סוכן חכם לפני פיתוח מורכב.
איפה זה נופל
היוצרים מגדירים את קהל היעד העיקרי כחוקרים וחובבים, ולא כמוצר לייצור. המודל למד משיחות משתמשים באינטרנט, מה שאומר שהוא עלול לספוג הטיות, להמציא עובדות בביטחון מלא או לייצר טעויות בהיגיון מורכב, במיוחד כשההקשר מתקרב לתקרה של ארבעת אלפים טוקנים.
אותה משפחה
vicuna יצא ב־9 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם הוא יכול לעבוד על מחשב נייד רגיל?
בלי כרטיס מסך ייעודי של שש עשרה ג'יגה זיכרון זה יהיה איטי מאוד. עדיף להריץ אותו על שרת עם מעבד גרפי מתאים או להיעזר בפתרון ענן.
מותר להטמיע אותו במוצר שלי?
הרישיון של לאמה שתיים מאפשר שימוש כזה, כל עוד עומדים במגבלות המשתמשים של מטא. יחד עם זאת, LMSYS מייעדים אותו בעיקר למחקר, כך שצריך לבדוק היטב את אמינות הפלט.
איך מריצים
המשקל הכולל מגיע לקצת יותר משנים עשר ג'יגה־בייט בפורמט פלואוט שש עשרה, כך שכרטיס מסך בודד עם שש עשרה ג'יגה זיכרון יספיק כדי להריץ אותו בלי בעיות מיוחדות. הוא עובד ישירות דרך ספריית טרנספורמרס או דרך FastChat של LMSYS, שכולל ממשק שורת פקודה ושרת שמחקה את ה־API של OpenAI.
אם אין לכם כרטיס מתאים או שהמטרה היא רק לבדוק תגובות מדי פעם, הרצה מקומית תדרוש תחזוקה מיותרת. במקרים כאלה עדיף להשתמש בדמו הרשמי שלהם או לפנות לשירותי ענן שמארחים אותו במקום להחזיק שרת ייעודי.
from transformers import pipeline
pipe = pipeline("text-generation", model="lmsys/vicuna-7b-v1.5")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 12.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא רישיון הקהילה של לאמה שתיים. מותר להשתמש בו לצרכי מחקר וגם למוצרים מסחריים, אבל חלים עליו כל התנאים והמגבלות של מטא, כולל מגבלות על כמות משתמשים חודשית ואיסור על אימון מודלים מתחרים.
- שימוש מסחרי עד 700 מיליון משתמשים
- שינוי הקוד
- חובת ייחוס