MMAudio — הדגמה

קוד פתוח

hkchengrexcc-by-nc-4.02024-12-10

gradio

הכלי מייצר פס קול מסונכרן לקובצי וידאו או מטקסט בלבד. הוא מתאים ליוצרי תוכן שצריכים אפקטים קוליים לסרטונים אילמים.

50.9 GBמשקל הקבצים
—הורדות בחודש
991לייקים

מה זה

מעלים קובץ וידאו, מקלידים תיאור טקסטואלי, ומקבלים קובץ וידאו מרונדר עם פס קול מסונכרן. הממשק מאפשר גם עבודה במסלול של טקסט בלבד, בלי קלט ויזואלי, להפקת קובצי שמע מבודדים. יש שליטה ידנית בהנחיה שלילית, במספר צעדי הדגימה, בעוצמת ההנחיה ובאורך השניות הרצוי.

מאחורי הקלעים רץ שילוב של מודל Flow Matching יחד עם BigVGAN של אנבידיה כווקודר, רכיב סנכרון בשם Synchformer ומודל הראייה של אפל DFN5B-CLIP. הדוגמאות המובנות בממשק כוללות סרטונים שהופקו במחוללי וידאו כמו Sora, Mochi ו־Hunyuan, ומראות שילוב סאונד לגלי ים, הקלדה על מקלדת, סערות ודהרת סוסים.

מתאים ל

סאונד לסרטוני בינה מלאכותית
הוספת אפקטים קוליים ורחשי רקע לקטעי וידאו אילמים שהופקו במודלים חיצוניים.
יצירת אפקטים מטקסט
הפקת רעשי סביבה ממוקדים לפי תיאור מילולי בלשונית הטקסט, ללא צורך בווידאו.
סנכרון תנועה לשמע
התאמת רעשי צעדים, הקלדה או פעולות פיזיות ישירות לפי קצב הפריימים בסרטון.

איפה זה נופל

היוצרים מדווחים במפורש על נטייה של המודל לפלוט מלמולים דמויי דיבור אנושי שאינם מובנים, ומוזיקת רקע לא רצויה. בנוסף, חסר לו ידע על מושגים ספציפיים מדי, כמו הבדל בין ירי רגיל לירי RPG. סרטונים שחורגים משמעותית משמונה שניות עלולים לצאת באיכות ירודה, ולא הייתי בונה עליו להפקת דיאלוגים אמיתיים.

שאלות
נפוצות

האם השימוש בממשק הזה עולה כסף?

לא, הגישה דרך הדפדפן היא בחינם ואינה דורשת תשלום. המשאבים מוקצים על גבי חומרת ענן שיתופית ללא צורך בהזנת כרטיס אשראי. עם זאת, בזמני עומס ייתכן שתצטרכו להמתין בתור לפני שההרצה תתחיל.

מה קורה עם קובצי הווידאו שאני מעלה?

הקבצים נשלחים לשרת לצורך פעולת ההסקה ונשמרים בספריות זמניות בזמן העיבוד. הם אינם מוגנים כמידע מאובטח באחסון מקומי פרטי. מסיבה זו, לא כדאי להעלות לשם חומרי גלם רגישים או סרטונים אישיים.

כמה זמן לוקח לייצר שמונה שניות של אודיו?

העיבוד מבוצע על חומרת A10G ולוקח בדרך כלל שניות בודדות בלבד לקטע באורך ברירת המחדל. אם מגדילים את מספר הצעדים או את משך הזמן מעבר לשמונה שניות, פעולת החישוב תתארך בהתאם. במקרים שבהם המאיץ מתעורר משינה, תיתכן המתנה ראשונית נוספת.

אפשר להריץ את המערכת הזאת באופן מקומי על המחשב?

כן, הקוד פתוח וזמין להתקנה ידנית בסביבת לינוקס עם פייתון וכרטיס מסך תואם. ההרצה המקומית דורשת כ־6 גיגה-בייט זיכרון גרפי במצב 16 ביט, ומורידה מראש משקלים בנפח של כמה גיגה-בייטים. זה פתרון טוב למי שרוצה לעקוף תורים ציבוריים ולעבוד ללא תלות ברשת.

איך מריצים

בוחרים בלשונית הרצויה, מעלים סרטון או כותבים הנחיה, ולוחצים על כפתור ההרצה. ברירת המחדל מוגדרת להפקת שמונה שניות עם 25 צעדים. העיבוד רץ על מאיץ A10G של ענן Spaces, ולכן יצירה בסיסית מסתיימת תוך שניות בודדות, בתנאי שאין עומס בתור הציבורי. אין צורך בהתחברות או בהרשמה.

pip install -U huggingface_hub
hf download hkchengrex/MMAudio

הקבצים

26 קבצים במאגר, 50.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון של המאגר לא דווח בקוד או בתיעוד. המשמעות היא שאין הרשאה מפורשת לשימוש מסחרי בתוצאות, וכל שימוש עסקי בחומרים שנוצרים כרוך בסיכון משפטי עד לפרסום תנאים רשמיים.

שינוי הקוד
חובת ייחוס
שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗