HunyuanVideo-Foley

מה זה

טנסנט שחררה ארכיטקטורת דיפוזיה שמחברת בין ניתוח ויזואלי של פריימים, הנחיות טקסט באנגלית או סינית, ומודל שמע מסוג VAE בקצב דגימה של 48kHz. המטרה כאן היא פולי, כלומר יצירת רעשי רקע, צעדים, חריקות ודיבוב מותאם שמתיישבים בדיוק על התנועה במסך.

בבנצ'מרקים שפורסמו הוא עוקף פתרונות קודמים כמו MMAudio בציון הדה-סנכרון, עם ירידה ל־0.74 במבחן MovieGen וציון איכות כולל של 4.14 מתוך 5 בהערכות אנושיות. בפועל זה אומר פחות תופעות של צליל שמקדים או מאחר את התנועה על המסך, ורמת פירוט צליל נקייה יותר ממה שהיה מקובל במודלי קוד פתוח עד כה.

מתאים ל

• סאונד מהיר לסרטוני רשת

  הדבקת אפקטים קוליים אוטומטיים לפי תנועה לקטעי וידאו קצרים ללא צורך בעריכת סאונד ידנית.

• עיצוב צליל לאנימציה

  הפקת רעשי סביבה וצעדים בקצב 48kHz ישירות מתוך רצף תמונות מרנדר קיים.

• אבטיפוס לפיתוח משחקים

  ייצור מהיר של צלילים לקטעי מעבר במשחקים על בסיס סרטוני הדגמה והנחיה מילולית באנגלית.

איפה זה נופל

המודל מוגדר רשמית רק עבור אנגלית וסינית בהנחיות הטקסט. אם תזינו תיאורים בעברית, המערכת כנראה תפספס את ההקשר לחלוטין ותסתמך רק על הווידאו עצמו. בנוסף, מודלים מהסוג הזה מתקשים כשיש עומס של אלמנטים בתנועה מהירה, ואין כאן הפרדה של ערוצי סאונד מבודדים, אלא קובץ אודיו שלם ומאוחד שקשה לערוך בדיעבד.

איך מריצים

המשקלים שוקלים 17.3 גיגה-בייט ומחולקים ל־14 קבצים, מה שאומר שתצטרכו כרטיס מסך בריא עם לפחות 24 גיגה-בייט זיכרון כדי להריץ את גרסת ה־XXL בלי חניקות. טנסנט הוסיפו גרסת XL שכוללת תמיכה בפריקת שכבות לזיכרון המערכת כדי להקל על החומרה, והרצה מקומית דורשת סביבת לינוקס עם פייתון 3.8 ומעלה וגרסאות קודה 11.8 או 12.4.

מי שאין לו שרת ייעודי עם חומרה מתאימה או שרוצה רק לבדוק תאימות יכול לבדוק את הדמו במרחב של החברה ב־Hugging Face במקום להוריד את כל הנפח הזה מראש.

pip install -U huggingface_hub
hf download tencent/HunyuanVideo-Foley

הקבצים

14 קבצים במאגר, 17.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• hunyuanvideo_foley.pth10.3 GB
• hunyuanvideo_foley_xl.pth5.9 GB
• vae_128d_48k.pth1.5 GB
• synchformer_state_dict.pth950.1 MB
• assets/model_arch.png542.1 KB
• assets/data_pipeline.png384.6 KB
• assets/pan_chart.png304.0 KB
• assets/logo.png214.4 KB
• README.md16.7 KB
• LICENSE15.5 KB
• NOTICE2.5 KB
• .gitattributes1.7 KB
• config.yaml1.3 KB
• config_xl.yaml1.3 KB

הרישיון

הרישיון מוגדר תחת סיווג כללי ולא ברישיון קוד פתוח מוכר כמו אפאצ'י או MIT. טנסנט מציגה זכויות שמורות בכרטיס המודל, ולכן חובה לבדוק את קובץ הרישיון המצורף במאגר לפני שמשלבים את המשקלים במוצר מסחרי או מפיצים שירות סביבם.

הרישיון המלא בעמוד המודל ↗