Video-LLaVA-7B-hf

מה זה

מדובר במודל שפה ויזואלי שלוקח את הרעיון של LLaVA צעד קדימה. במקום להסתמך על מודל נפרד לתמונות ומודל נפרד לווידאו, הוא משתמש במקודד שמאחד את הייצוג הוויזואלי לפני שלב ההיטל לשפה. זה מאפשר לו לקבל קלט משולב של תמונות ווידאו יחד, אפילו שבנתוני האימון שלו לא היו צמדים ישירים של תמונה לצד וידאו.

בבסיס שלו יושב מודל שפה אוטו-רגרסיבי בארכיטקטורת טרנספורמר, והוא עבר כוונון ייעודי על דאטה-סטים של מעקב אחרי הוראות. האימון התבסס על נתוני תמונות מתוך LLaVA, יחד עם נתוני וידאו שנלקחו מ־Valley ומ־Video-ChatGPT. השילוב הזה נותן לו יתרון מובהק על פני מודלים שמנתחים רק מדיה מסוג אחד, כי הוא מסוגל להבין הקשר רציף שנע בין סטילס לתנועה.

מתאים ל

• ניתוח משולב של תמונה ווידאו

  הבנת שאלות שמשוות בין תמונת סטילס בודדת לקטע וידאו קצר בתוך אותו הקשר.

• תיוג פעולות בקטעי וידאו

  מעקב אחר הוראות וזיהוי של מה שמתרחש בתוך קליפים קצרים על בסיס טקסט חופשי.

• מחקר אקדמי על מולטימדיה

  בדיקת ייצוג ויזואלי מאוחד של תנועה וסטילס בסביבת מחקר שאינה מסחרית.

איפה זה נופל

חלון ההקשר עומד על 4,096 טוקנים בלבד. בווידאו, שבו כל רצף פריימים מתורגם לכמות עצומה של טוקנים ויזואליים, החלון הזה נסתם מהר מאוד. זה אומר שלא תוכלו להזין סרטונים ארוכים במיוחד או לנהל שיחה מתמשכת ומפורטת סביב קטע וידאו בלי לחתוך אותו באגרסיביות.

בנוסף, הכרטיס מציין שהמודל אומן על מידע שנוצר בחלקו על ידי OpenAI ומשתמשי ShareGPT, לצד משקולות בסיס ממשפחת LLaMA. זה חושף את הפלטים להטיות מובנות של אותם מאגרים ומגביל את השימוש במערכות שדורשות אמינות מוחלטת.

אותה משפחה

Video-LLaVA יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ את 7.4 מיליארד הפרמטרים שלו בדיוק bfloat16 תצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה-בייט של VRAM, בהתחשב במשקל הקבצים שמגיע לכמעט 14 גיגה-בייט ולצריכת הזיכרון של רצפי הווידאו. הוא נתמך ישירות בספריית transformers תחת הארכיטקטורה VideoLlavaForConditionalGeneration, מה שמפשט מאוד את האינטגרציה בקוד פייתון רגיל.

אם אין לכם חומרה מקומית חזקה או שאתם לא צריכים שליטה מלאה בנתונים ובמשקלים, הרצה עצמית של מודל וידאו כזה תהיה יקרה וכבדה מדי בהשוואה לקריאה לשירות מנוהל חיצוני.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="LanguageBind/Video-LLaVA-7B-hf")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 13.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00003.safetensors5.0 GB
• model-00002-of-00003.safetensors4.9 GB
• model-00003-of-00003.safetensors4.8 GB
• tokenizer.json1.8 MB
• tokenizer.model499.7 KB
• model.safetensors.index.json111.9 KB
• README.md6.2 KB
• tokenizer_config.json1.6 KB
• .gitattributes1.5 KB
• config.json998 B
• preprocessor_config.json890 B
• special_tokens_map.json582 B
• generation_config.json148 B
• added_tokens.json66 B

הרישיון

המצב המשפטי כאן בעייתי מאוד לחברות. בעמוד המודל לא מוגדר רישיון רשמי, אבל הטקסט מפנה לפרויקט שמבוסס בחלקו על Apache 2.0 ומגדיר את השירות כתצוגת מחקר לשימוש לא-מסחרי בלבד. המודל כפוף למגבלות של LLaMA, לתנאי השימוש של OpenAI ולמדיניות של ShareGPT, כך שאסור לשלב אותו במוצר מסחרי.

הרישיון המלא בעמוד המודל ↗