Yi-VL-6B

מה זה

הבסיס כאן הוא ארכיטקטורת Llava שלוקחת מקודד תמונה מסוג CLIP ViT-H/14, מעבירה אותו דרך שכבת קישור, ומחברת אותו למודל השפה Yi-6B-Chat. התוצאה יודעת לקבל תמונה יחידה יחד עם טקסט, להבין את התוכן הוויזואלי, ולענות על שאלות בכמה סבבים של שיחה. המודל תוכנן מראש לעבודה דו לשונית שוטפת, כך שהוא קורא ומייצר אנגלית וסינית בלי העדפה בולטת לאחת מהן.

ההבדל המשמעותי מול מודלים קלים אחרים הוא האימון התלת שלבי שהקבוצה עשתה, כולל שלב ייעודי ברזולוציה מוגדלת שנועד לתפוס פרטים קטנים. לפי המפתחים, סדרת Yi-VL תפסה את המקום הראשון במבחני MMMU באנגלית ו־CMMMU בסינית ביחס למודלים פתוחים בזמן שחרורו, מה שאומר שהוא מתמודד טוב יותר מהממוצע עם שאלות רב תחומיות שדורשות היגיון ולא רק תיאור שטחי של התמונה.

מתאים ל

• חילוץ מידע מתמונות בסיסיות

  הבנת מסמכים פשוטים, שלטים ותרשימים באנגלית או סינית בגודל מודל שלא דורש תשתית כבדה.

• צ'אט סביב תמונה בודדת

  מענה על שאלות המשך לגבי תצלום יחיד שהמשתמש מעלה, תוך שמירה על הקשר השיחה.

• תיוג ויזואלי של קטלוגים

  סריקה של מאגרי תמונות וייצור תיאורים מפורטים באנגלית באופן מקומי ופרטי לגמרי.

איפה זה נופל

המגבלה הכי קריטית היא הרזולוציה. כל תמונה נדחסת ומתוחה לתוך גודל קבוע של 448 על 448 פיקסלים, כך שתמונות חדות מאבדות פרטים וטקסט קטן עלול להימרח לחלוטין. הוא גם לא יודע לקבל יותר מתמונה אחת בכל שיחה, ואין תמיכה בווידאו או ביצירת תלת ממד.

בנוסף, הכרטיס מציין במפורש נטייה להזיות. כשיש בסצנה הרבה עצמים, הוא נוטה לפספס אובייקטים או להמציא פרטים שלא קיימים בתמונה. חלון ההקשר מוגבל ל־4,096 טוקנים, ולגבי עברית אין שום תיעוד או התחייבות, כך שסביר להניח שפענוח טקסט עברי מתוך תמונות יעבוד רע מאוד.

אותה משפחה

Yi-VL יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־18.5 גיגה בייט בדיוק של bfloat16, מה שאומר שצריך לפחות כרטיס מסך אחד עם 24 גיגה בייט זיכרון כדי להריץ אותו בצורה יציבה. כרטיסים צרכניים כמו RTX 3090 או RTX 4090 יספיקו להסקה מקומית, ובסביבת ענן אפשר להסתפק ב־A10 או A30 בודד.

מי שאין לו כרטיס ייעודי כזה בשרת ימצא שזה כבד מדי, ובמצב כזה עדיף לצרוך מודלי ראייה דרך ספקי API מוכנים. הגרסה הגדולה יותר בסדרה, 34B, כבר דורשת מערך של ארבעה כרטיסי 4090 או כרטיס A800 של 80 גיגה בייט, כך שגרסת ה־6B היא האופציה הריאלית היחידה להרצה זולה על שרת בודד.

pip install -U huggingface_hub
hf download 01-ai/Yi-VL-6B

הקבצים

25 קבצים במאגר, 18.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin9.9 GB
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-6B-448/open_clip_pytorch_model.bin3.9 GB
• pytorch_model-00002-of-00002.bin3.5 GB
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-6B-448/pytorch_model.bin2.5 GB
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-6B-448/tokenizer.json2.2 MB
• tokenizer.model1.0 MB
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-6B-448/vocab.json862.3 KB
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-6B-448/merges.txt524.6 KB
• pytorch_model.bin.index.json89.5 KB
• LICENSE17.4 KB
• README.md12.6 KB
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-6B-448/README.md8.2 KB
• tokenizer_config.json2.0 KB
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-6B-448/.gitattributes1.4 KB
• config.json1.2 KB
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-6B-448/tokenizer_config.json904 B
• NOTICE878 B
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-6B-448/open_clip_config.json637 B
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-6B-448/config.json570 B
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-6B-448/special_tokens_map.json389 B
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-6B-448/preprocessor_config.json316 B
• special_tokens_map.json267 B
• generation_config.json183 B
• added_tokens.json122 B
• .gitattributes86 B

הרישיון

הקוד והמשקלים שוחררו תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה. עם זאת, היוצרים מציינים שכדי להשתמש במודל במוצר מסחרי נדרש לקבל אישור רשמי בחינם באמצעות שליחת אימייל, ורק לאחר מכן מקבלים את ההיתר המלא לשימוש מסחרי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗