omnivinci

מה זה

מדובר במודל שמבוסס על ארכיטקטורת VILAForCausalLM ומיועד להבנה רב-מודלית כוללת, מה שנקרא omni-modal. בניגוד למודלי ראייה סטנדרטיים שעוצרים בתמונות או בפריימים דוממים, כאן המטרה היא להאזין, לראות, לקרוא ולהסיק מסקנות במקביל. הוא מעבד וידאו עם אודיו מחובר, מה שמאפשר לנתח אינטראקציות שלמות ולא רק רצף תמונות אילם.

אנבידיה פיתחה אותו כחלק מפרויקט מחקר סביב ארכיטקטורה ואימון נתונים עבור מודלים שמשלבים כמה חושים. לפי כרטיס המודל, הוא מציג ביצועים מהשורה הראשונה במבחני ביצועים של הבנת קול, תמונה ומדיה מעורבת, אם כי המדדים המדויקים מופיעים בגרפים חיצוניים ולא מפורטים בטקסט עצמו. המודל מתממשק ישירות עם ספריית transformers, כך שאפשר לשלב אותו בסקריפטים קיימים בלי לכתוב שכבות תיאום מאפס.

מתאים ל

• ניתוח וידאו ואודיו יחד

  הוא מטפל בסרטונים שכוללים קול במקום לפצל את הראייה והשמע למודלים שונים.

• מחקר מודלים רב-חושיים

  הוא מציע בסיס קוד של אנבידיה לבחינת שילוב מודלי שפה עם קלט ויזואלי וקולי.

• תמלול והבנת שמע בהקשר

  הוא מאפשר לבחון מטלות שמע לצד הקשר של תמונה דרך סקריפטים ייעודיים שמצורפים אליו.

איפה זה נופל

הבעיה הבולטת ביותר היא הבלבול המשפטי, המטא-דאטה מדווח על רישיון חופשי אבל הטקסט מפנה לרישיון לא-מסחרי קשוח של אנבידיה, כך שאי אפשר לבנות עליו מוצר בלי בדיקה משפטית. מעבר לזה, הכרטיס כמעט לא חושף מגבלות טכניות, חולשות בעיבוד שפות שאינן אנגלית, או את היקף ההזיות שלו על גבי אודיו ווידאו.

איך מריצים

כדי להריץ אותו צריך להוריד כ־16.3 גיגה-בייט של קבצים ולהתקין סביבת פייתון ייעודית שמבוססת על קוד NVILA דרך סקריפט ההתקנה שמגיע במאגר. גודל כזה של משקלים דורש כרטיס מסך עם זיכרון וידאו מכובד, כנראה לפחות 24 גיגה-בייט של VRAM כדי לטעון אותו ולבצע היקש על וידאו ואודיו בלי להיחנק.

אם אין לכם גישה לכרטיסי עיבוד מתאימים או שאין לכם עניין להתעסק בתלויות של סביבת NVILA, ההתקנה המקומית עלולה להיות כאב ראש. במקרים כאלה עדיף לחכות שיהיה שירות ענן שמנגיש אותו דרך ממשק פשוט, במקום לתחזק שרת ייעודי רק בשביל הניסוי הזה.

from transformers import pipeline

pipe = pipeline("feature-extraction", model="nvidia/omnivinci")
print(pipe("שלום"))

הקבצים

57 קבצים במאגר, 16.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• llm/model-00002-of-00004.safetensors4.9 GB
• llm/model-00001-of-00004.safetensors4.9 GB
• llm/model-00003-of-00004.safetensors4.3 GB
• sound_tower/model.safetensors1.3 GB
• llm/model-00004-of-00004.safetensors1.1 GB
• vision_tower/model.safetensors826.7 MB
• mm_projector/model.safetensors124.9 MB
• sound_mm_projector/model.safetensors34.9 MB
• llm/tokenizer.json11.4 MB
• llm/vocab.json2.8 MB
• llm/merges.txt1.7 MB
• asset/omni_benchmarks.png684.3 KB
• transformers/modeling_utils.py274.4 KB
• asset/performance.png233.1 KB
• config.json232.2 KB
• llm/config.json186.4 KB
• asset/omni_benchmarks2.png151.0 KB
• modeling_vila.py88.6 KB
• media_encoder.py39.2 KB
• llm/model.safetensors.index.json27.8 KB
• mm_utils.py22.5 KB
• media.py22.0 KB
• asset/NVIDIA_OneWay_Noncommercial_License.docx20.6 KB
• auto_processor.py20.0 KB
• example_infer.py12.9 KB
• siglip_encoder.py12.4 KB
• base_projector.py9.6 KB
• builder.py9.5 KB
• tokenizer_utils.py7.6 KB
• utils.py6.8 KB
• README.md6.2 KB
• conversation.py6.0 KB
• sound_base_projector.py5.0 KB
• constants.py4.6 KB
• configuration_vila.py4.5 KB
• llm/tokenizer_config.json4.0 KB
• example_mini_video.py4.0 KB
• qwen_audio_encoder.py3.8 KB
• example_mini_audio.py3.4 KB
• speech_base_projector.py2.7 KB

הרישיון

יש פה סתירה ישירה. בעוד שהאתר מציג רישיון מסוג apache-2.0 שמאפשר שימוש חופשי ומסחרי, גוף הטקסט קובע במפורש שהמודל שוחרר תחת NVIDIA OneWay Noncommercial License. המשמעות היא שכרגע אסור לשלב אותו בשום מוצר מסחרי, אלא רק להשתמש בו למחקר פנימי ובדיקות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗