NAVA

מה זה

במקום לחבר מודל וידאו קיים עם רצועת קול נפרדת, הכלי הזה מאמן את הווידאו והאודיו יחד על ארכיטקטורת MMDiT שמבוססת על Wan2.2. הוא מייצר מקטעים של שש עד עשר שניות, כולל סאונד סטריאו שמורכב מקולות סביבה ודיבור מתוזמן. השליטה בזהות הקולית מתבצעת דרך קובצי אודיו לדוגמה שמוזרקים ישירות לטקסט, לצד שליטה בתנועת המצלמה דרך התיאור המילולי.

במבחני VerseBench המודל מציג סנכרון קול־תמונה טוב יותר וציון איכות וידאו של 0.659, מעל פתרונות גדולים ממנו כמו MOVA של 32 מיליארד פרמטרים ו־LTX 2.3. גם בבדיקות דיבור המערך הגיע לרמת שגיאות מילים של 5.81 אחוז, נתון קרוב למודלים שמייצרים קול בלבד.

מתאים ל

• הנפשת דמויות מדברות

  מאפשר לייצר סרטון עם קול מותאם אישית ישירות מתמונת מקור וקובץ שמע של הדובר.

• סרטוני סושיאל קצרים

  מייצר קליפ של עד עשר שניות בפורמט אנכי או רוחבי עם אפקטי קול של הסביבה בפעימה אחת.

• דיאלוג של שני דוברים

  תומך בהגדרת שני קולות שונים באמצעות תגיות טקסט, בלי צורך לחתוך ולהדביק אודיו בעריכה.

איפה זה נופל

המודל אומן בעיקר על תיאורים צפופים בסינית, כך שפרומפטים קצרים או פניות באנגלית מניבים תוצאות פחות טובות ומחייבים שלב מקדים של שכתוב טקסט. קובצי האודיו לדוגמה מוגבלים לשני דוברים בלבד בכל קטע, ואורך הסרטון המקסימלי מוגבל לעשר שניות ברצף.

אין תמיכה מובנית בעברית, כך שכל דיבור או תיאור סצנה יחייב בדיקה של התנהגות מקודד הטקסט והפרומפטים. הקוד נשען על מבנה מותאם אישית ותלויות ספציפיות כמו Flash-Attention, מה שמקשה על הטמעה מהירה במערכות מדף.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־43.5 גיגה־בייט, כולל מודל הליבה, מקודד טקסט של 11 גיגה־בייט ורכיבי VAE לווידאו ולאודיו. הרצה של 50 צעדי דגימה דורשת זיכרון וידאו משמעותי, והתשתית המומלצת בסקריפטים של הפרויקט נשענת על שמונה כרטיסי מסך במקביל כדי לייצר סרטון בתוך כדקה. אפשר לרוץ על כרטיס בודד, אבל קצב היצירה צונח בהתאם.

בנוסף למודל עצמו, תהליך העבודה כולל מודל שפה חיצוני קטן בשם Qwen3-4B לצורך שכתוב פרומפטים. אם אין לכם שרת ייעודי עם חומרה ברמת שמונה מאיצים, תתקשו לשלב את זה בפרודקשן מקומי בזמני תגובה סבירים.

pip install -U huggingface_hub
hf download baidu/NAVA

הקבצים

17 קבצים במאגר, 43.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• NAVA.safetensors25.2 GB
• Wan2.2-TI2V-5B/models_t5_umt5-xxl-enc-bf16.pth11.4 GB
• NAVA_fp8.safetensors6.9 GB
• Wan2.2-TI2V-5B/Wan2.2_VAE.pth2.8 GB
• params/LTX2/ltx-2.3-22b-dev_audio_vae.safetensors364.9 MB
• Wan2.2-TI2V-5B/google/umt5-xxl/tokenizer.json16.8 MB
• Wan2.2-TI2V-5B/google/umt5-xxl/spiece.model4.5 MB
• assets/arch.png2.1 MB
• assets/logo.png208.2 KB
• params/LTX2/LICENSE21.5 KB
• README.md14.0 KB
• README_zh.md13.5 KB
• LICENSE11.2 KB
• nava.yaml3.1 KB
• example_prompts.jsonl1.2 KB
• .gitattributes954 B
• config.json438 B

הרישיון

הפרויקט פורסם תחת רישיון Apache-2.0 שמאפשר שימוש מסחרי, שינוי קוד והפצה חופשית ללא תמלוגים, בכפוף לשמירה על הצהרות זכויות היוצרים. תנאי המודל אוסרים במפורש שימוש בקולות או בפנים של אנשים אמיתיים ללא הסכמתם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗