vicuna-7b

מה זה

הבסיס כאן הוא מודל שפה שנבנה על גבי LLaMA ועבר כוונון עדין על שבעים אלף שיחות מ־ShareGPT. ההבדל המרכזי מול הגרסה המקורית של צוות Vicuna הוא שהאימון הזה בוצע ללא סינון האתיקה שהם הפעילו, כך שהוא לא אמור לחסום או לעדן תשובות באופן יזום.

מבחינת יכולות, הוא מיועד ליצירת טקסט וניהול שיחה חופשית. הבדיקות של הפרויקט המקורי נשענו על שיפוט של GPT-4 מול שמונים שאלות מבחן, מה שאומר שההתנהגות שלו מחקה סגנון שיחה אנושי, אבל הוא מוגבל בידע וביכולות ההסקה שלו יחסית למודלים גדולים יותר.

מתאים ל

• מחקר על מודלים ללא סינון

  בדיקה של השפעת הסרת מסנני הבטיחות על התשובות וההטיות של מודלי שפה קטנים.

• ניסויי שיחה מקומיים

  הרצה מקומית על מחשב אישי לחובבי תחום שרוצים לבחון כוונון על דאטה של ShareGPT.

• בדיקות השוואה מול גרסאות מכומתות

  השוואת ביצועים ודיוק בין משקלי המקור של float16 לגרסת ה־GPTQ הזמינה ברשת.

איפה זה נופל

בגלל שהורידו את סינון האתיקה באימון, הוא עלול לייצר תוכן פוגעני, שגוי או מוטה בלי שום מחסום פנימי. מעבר לזה, מדובר במודל משנת 2023 עם שבעה מיליארד פרמטרים בלבד, ולכן הוא נוטה להזיות בעובדות מורכבות ואינו מתאים לשום משימה שדורשת דיוק מוחלט לפני בדיקה ידנית קפדנית.

איך מריצים

כדי להריץ את המשקלים המקוריים בדיוק של float16 תצטרכו כרטיס מסך עם לפחות שישה עשר גיגה זיכרון, שכן המשקל הכולל מגיע ל־12.6 גיגה המחולקים בעשרים ושניים קבצים שונים. מי שרוצה לחסוך במשאבים יכול לפנות לגרסת ה־GPTQ בכימות של ארבעה ביט שהועלתה בנפרד.

אם אין לכם חומרה ייעודית מקומית עם מספיק VRAM, הרמה של שרת בענן רק בשביל הרצה של צ'אט בודד תהיה יקרה ולא משתלמת, ובמצב כזה עדיף לצרוך מודלים דרך שירותי צד שלישי.

from transformers import pipeline

pipe = pipeline("text-generation", model="AlekseyKorshuk/vicuna-7b")
print(pipe("שלום"))

הקבצים

22 קבצים במאגר, 12.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00004-of-00014.bin989.9 MB
• pytorch_model-00009-of-00014.bin989.9 MB
• pytorch_model-00006-of-00014.bin989.9 MB
• pytorch_model-00011-of-00014.bin989.9 MB
• pytorch_model-00001-of-00014.bin981.5 MB
• pytorch_model-00007-of-00014.bin966.8 MB
• pytorch_model-00012-of-00014.bin966.8 MB
• pytorch_model-00002-of-00014.bin966.8 MB
• pytorch_model-00003-of-00014.bin966.8 MB
• pytorch_model-00008-of-00014.bin966.8 MB
• pytorch_model-00013-of-00014.bin966.8 MB
• pytorch_model-00005-of-00014.bin943.8 MB
• pytorch_model-00010-of-00014.bin943.8 MB
• pytorch_model-00014-of-00014.bin847.3 MB
• tokenizer.model499.7 KB
• pytorch_model.bin.index.json26.8 KB
• README.md1.7 KB
• .gitattributes1.5 KB
• config.json529 B
• tokenizer_config.json247 B
• generation_config.json137 B
• special_tokens_map.json96 B

הרישיון

הרישיון הרשמי בעמוד מסומן כ־other, למרות שבטקסט המקורי מוזכר Apache 2.0. מצב כזה מייצר אי ודאות משפטית מוחלטת. אסור לשלב אותו במוצר מסחרי בלי לברר קודם את תנאי השימוש המדויקים מול היוצר והמגבלות של מודל הבסיס שעליו הוא נשען.

הרישיון המלא בעמוד המודל ↗