NVILA-8B-HD-Video

מה זה

רוב המודלים הרב מודליים בגודל הזה מתקשים להתמודד עם קובצי וידאו ארוכים או כבדים, מפני שכמות הטוקנים שנוצרת מכל פריים מפוצצת את הזיכרון במהירות. כאן שילבו מנגנון שנקרא AutoGaze, שמסנן חלקים מיותרים מתוך הפריימים עוד לפני שהם מגיעים למקודד התמונה או לשפת המודל. הסינון הזה מסוגל להפחית עד פי 100 את כמות הטוקנים בווידאו, מה שמתרגם לירידה של עד פי 19 בזמני הריצה של רכיב הראייה ועד פי 10 במודל השפה.

הבסיס נשען על NVILA-Lite-8B ועל רכיבים מתוך Qwen2-VL-7B-Instruct, לצד אימון על 72 מאגרי נתונים שונים בחמישה שלבים. לפי הנתונים הוא משפר תוצאות במבחן VideoMME ומציג ביצועים מובילים במבחן HLVid, שבודק הבנה של סרטונים ארוכים ברזולוציה גבוהה. בשורה התחתונה מקבלים יכולת תשאול ופענוח על וידאו מורכב בתוך מעטפת חישובית שקרובה למודל שפה סטנדרטי.

מתאים ל

• תחקור צילומי אבטחה ושטח

  זיהוי אירועים ופעולות בקבצים כבדים של 4K ועד 1K פריימים בלי צורך לדגום מראש באיכות ירודה.

• ניתוח תוכן לספריות מדיה

  חילוץ תובנות ומענה לשאלות מתוך סרטים ותוכניות ארוכות ישירות מהווידאו הגולמי.

• מחקר אקדמי על עיבוד וידאו

  בדיקת שיטות חדשות לדחיסת טוקנים וצמצום זמני ריצה של מודלי ראייה גדולים.

איפה זה נופל

למרות ההבטחה לטיפול בפורמטים כבדים, הכרטיס מבהיר במפורש שהמודל מיועד למחקר ופיתוח בלבד, ולא נמסר כמערכת מוכנה לייצור. בנוסף, חובה להריץ את רכיב AutoGaze כשלב מקדים כדי לקבל את החיסכון בביצועים, מה שמסרבל את צינור העבודה ולא מאפשר להשתמש בספריות סטנדרטיות בלי התאמות קוד. המפתחים עצמם מציינים שנדרשת בדיקה מעמיקה של דיוק ובטיחות על הנתונים שלכם לפני כל שימוש אמיתי.

איך מריצים

כדי להריץ אותו בפועל צריך להתקין תחילה את חבילת AutoGaze מגיטהאב ואת הקוד של VILA. הקבצים שוקלים 15.1 גיגה בייט בפורמט bfloat16, כך שתצטרכו כרטיס מסך עם זיכרון ייעודי מתאים, כשהבדיקות של המפתחים עצמם נעשו על חומרת NVIDIA A100. הוא נתמך בארכיטקטורות Ampere, Hopper, Blackwell וגם בסדרת Jetson, תחת מערכות לינוקס, חלונות או QNX.

אין כאן שירות ענן מנוהל מוכן או ממשק API מרוחק שזמין ישירות מהיוצרים, ולכן חובה להקים את סביבת הריצה בעצמכם על תשתית מקומית או לשכור שרת ייעודי.

pip install -U huggingface_hub
hf download nvidia/NVILA-8B-HD-Video

הקבצים

21 קבצים במאגר, 15.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors5.4 GB
• model-00002-of-00004.safetensors5.3 GB
• model-00001-of-00004.safetensors5.2 GB
• model-00004-of-00004.safetensors241.5 MB
• vocab.json3.4 MB
• merges.txt1.7 MB
• pytorch_model.bin.index.json76.3 KB
• processing_nvila.py48.0 KB
• modeling_nvila.py25.9 KB
• README.md7.5 KB
• config.json2.9 KB
• tokenizer_config.json2.2 KB
• .gitattributes1.5 KB
• configuration_nvila.py1.2 KB
• preprocessor_config.json869 B
• chat_template.jinja688 B
• special_tokens_map.json597 B
• added_tokens.json194 B
• generation_config.json121 B
• processor_config.json118 B
• LICENSE0 B

הרישיון

הרישיון המוגדר הוא שילוב של cc-by-nc-4.0 וגרסת CC-BY-NC-SA-4.0, יחד עם תנאי Apache 2.0 עבור רכיב הבסיס. המשמעות ברורה וחדה, השימוש מותר למטרות מחקר ופיתוח בלבד, וחל איסור מוחלט על שימוש מסחרי מכל סוג שהוא במוצר שמכניס כסף.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗