Yi-VL-34B

מה זה

המודל מחבר מקודד תמונה מסוג CLIP ViT ישירות אל מודל השפה Yi-34B-Chat באמצעות שכבת תיווך של שתי שכבות MLP. המבנה הזה נשען על ארכיטקטורת LLaVA המוכרת, אבל מביא אותה לגודל משמעותי של 34 מיליארד פרמטרים. הוא מיועד לשיחה סביב תמונה ומאפשר שאלות ותשובות בכמה סבבים, חילוץ מידע וסיכום נתונים חזותיים.

במדדי MMMU באנגלית ו־CMMMU בסינית נכון לינואר 2024, המודל עקף את כל שאר מודלי הקוד הפתוח. בפועל המשמעות היא יכולת הסקת מסקנות רב תחומית ברמה אקדמית מתוך תרשימים, דיאגרמות ושאלות מורכבות, ולא רק זיהוי בסיסי של עצמים.

מתאים ל

• ניתוח תרשימים וגרפים

  הבסיס החזק במבחני MMMU עוזר לפענח גרפים טכניים באנגלית ובסינית ברזולוציה מתאימה.

• מענה על שאלות מתמונה

  תומך בשיחה מרובת סבבים על גבי תמונה יחידה לצורך תחקור חזותי מתמשך.

• חילוץ מידע דו לשוני

  מתאים לעיבוד תמונות המכילות טקסט משולב באנגלית ובסינית הדורש הבנה עמוקה.

איפה זה נופל

ההגבלה הבולטת ביותר היא הרזולוציה. המודל מכווץ או מותח כל תמונה ל־448 על 448 פיקסלים בדיוק. תמונות מפורטות מאוד יאבדו פרטים קריטיים, וטקסט קטן בעברית או באנגלית עלול להימרח לחלוטין. בנוסף, הוא מקבל רק תמונה אחת בכל שיחה ולא יודע להשוות בין כמה תמונות במקביל.

היוצרים מדווחים בגלוי על הזיות חזותיות. בסצנות צפופות עם פריטים רבים, המודל נוטה להמציא פרטים שלא קיימים או לזהות עצמים לא נכון. אל תבנו עליו לאיתור אנומליות קריטיות בלי בדיקה אנושית.

אותה משפחה

Yi-VL יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

בשביל להריץ אותו בהסקה נדרשת חומרה כבדה. המפתחים ממליצים על כרטיס שרת בודד A800 בנפח 80GB, או מערך של ארבעה כרטיסי RTX 4090 כדי להחזיק את 71.4 הג'יגה בייט של המשקולות בזיכרון. אם אין לכם גישה לשרת ייעודי כזה, גרסת ה־6B של אותה סדרה רצה על כרטיס RTX 3090 או 4090 בודד.

ההטמעה בפועל מבוססת PyTorch וקוד LLaVA. אם העומס שלכם נמוך או שאין לכם חומרה כזו זמינה, החזקה עצמית תהיה יקרה מאוד בהשוואה לשליחת קריאות לשירות ענן חיצוני.

pip install -U huggingface_hub
hf download 01-ai/Yi-VL-34B

הקבצים

31 קבצים במאגר, 71.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00007-of-00008.bin10.0 GB
• pytorch_model-00001-of-00008.bin10.0 GB
• pytorch_model-00006-of-00008.bin9.9 GB
• pytorch_model-00002-of-00008.bin9.9 GB
• pytorch_model-00005-of-00008.bin9.7 GB
• pytorch_model-00004-of-00008.bin9.7 GB
• pytorch_model-00003-of-00008.bin9.7 GB
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-34B-448/open_clip_pytorch_model.bin3.9 GB
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-34B-448/pytorch_model.bin2.5 GB
• pytorch_model-00008-of-00008.bin1.1 GB
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-34B-448/tokenizer.json2.2 MB
• tokenizer.model1.0 MB
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-34B-448/vocab.json862.3 KB
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-34B-448/merges.txt524.6 KB
• pytorch_model.bin.index.json110.3 KB
• LICENSE17.4 KB
• README.md12.6 KB
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-34B-448/README.md8.2 KB
• tokenizer_config.json2.0 KB
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-34B-448/.gitattributes1.4 KB
• config.json1.2 KB
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-34B-448/tokenizer_config.json904 B
• NOTICE878 B
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-34B-448/open_clip_config.json637 B
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-34B-448/config.json571 B
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-34B-448/special_tokens_map.json389 B
• vit/clip-vit-H-14-laion2B-s32B-b79K-yi-vl-34B-448/preprocessor_config.json316 B
• special_tokens_map.json267 B
• generation_config.json183 B
• added_tokens.json122 B
• .gitattributes86 B

הרישיון

הקוד והמשקולות מפורסמים תחת רישיון Apache 2.0, אך המפתחים דורשים הגשת בקשה במייל לקבלת אישור רשמי לפני שימוש מסחרי במוצר. האישור ניתן בחינם, אך חובת הפנייה קיימת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗