FoleyCrafter

מה זה

התהליך פשוט. אתם מעלים קובץ וידאו, מוסיפים תיאור טקסטואלי של הצליל הרצוי אם רוצים לכוון את התוצאה, ומקבלים קובץ וידאו שכולל את האודיו שנוצר.

מאחורי הקלעים רץ שילוב של מודל Auffusion ליצירת אודיו יחד עם מקודד תמונה של IP-Adapter לחילוץ תוכן ויזואלי, ומודל בשם VideoOnsetNet שנועד לזהות תזמוני תנועה בפריימים כדי לסנכרן את הצליל. בממשק יש גם דוגמאות מובנות של סרטונים קצרים שמראות הפקה בלי צורך להזין פרומפט טקסטואלי בכלל.

מתאים ל

• הוספת פולי לסרטוני אנימציה

  יצירת אפקטים של תנועה וצעדים לסרטונים קצרים שאין להם הקלטות שטח.

• סאונד ראשוני לעריכת וידאו

  בדיקת כיווני סאונד מהירים לסצנה לפני שרוכשים אפקטים מקצועיים מספריות.

• אפקטים קוליים מקטעי פעולה

  יצירת רעשי רקע ואפקטים מותאמים לסרטוני הדגמה לפי מה שקורה במסך.

איפה זה נופל

הבעיה המיידית היא שהעמוד נמצא במצב PAUSED ולכן אי אפשר ללחוץ ולייצר כלום כרגע. מעבר לזה, המודל מתמקד באפקטים קוליים ותלוי בזיהוי מדויק של תנועה בפריימים, כך שווידאו עמוס או מופשט עלול להניב צלילים לא מסונכרנים או רעשי רקע שלא קשורים למה שרואים.

איך משתמשים

גוררים וידאו לנגן הקלט, משאירים או משנים את הגדרות ברירת המחדל כמו סקאלת ההתאמה הוויזואלית או הדגימה, ולוחצים על Generate. אין צורך בהרשמה או התחברות לחשבון.

הקוד משתמש במנגנון Spaces עם מעבד גרפי מסוג zero-a10g, אבל כרגע האפליקציה במצב מושהה ולא ניתן להריץ אותה ישירות בדפדפן עד שיפעילו אותה מחדש.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל התאמות מסחריות בקוד. לגבי הקבצים שמעלים והסאונד שנוצר, חלים תנאי השימוש הרגילים של השרת המארח והמודלים הספציפיים שהוטמעו בו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗