EzAudio-ControlNet

מה זה

אתם מעלים קובץ שמע של פחות מעשר שניות שמשמש כרפרנס, מקלידים פרומפט טקסטואלי באנגלית, ולוחצים על כפתור היצירה. הפלט שמתקבל הוא קובץ סאונד חדש שנבנה בהשראת מאפייני המקור, למשל שינויי עוצמה ואנרגיה לאורך הזמן, יחד עם התיאור שהגדרתם בטקסט.

מאחורי הקלעים רצה ארכיטקטורת ControlNet מותאמת לאודיו על בסיס EzAudio, יחד עם רשת MaskDiT ומתזמן DDIM. המערכת מפרקת ומעבדת את האותות באמצעות שילוב מודלים נוספים, בהם Encodec של מטא לדחיסת סאונד ב־32 קילוהרץ, מודל Whisper של OpenAI לחילוץ מידע, וקידוד טקסט בעזרת T5. הממשק מציג דוגמאות מובנות מבוססות אנרגיה כדי להדגים איך קובץ קצר מכתיב את הקצב לצליל החדש.

מתאים ל

• סנכרון אפקטים לווידאו

  התאמת רעשים חדשים לתנועה לפי קובץ רפרנס שמכתיב את העוצמה והקצב.

• עיצוב סאונד מונחה טקסט

  יצירת צלילים ייחודיים שלא קיימים במאגרים, על בסיס מעטפת צליל מוכרת.

• ניסוי ובדיקת פרמטרים

  בדיקת השפעת צעדי דיפוזיה ומשקלי הנחיה שונים על גבי מודל EzAudio.

איפה זה נופל

המגבלה הקשיחה הראשונה היא אורך השמע, הממשק דורש קבצים של פחות מעשר שניות ולא מיועד לקטעים ארוכים או לעריכת פודקאסטים. מעבר לזה, מודל השפה Whisper שרץ ברקע מוגדר לגרסת הבסיס באנגלית, כך שאין מה לנסות להכניס שמע או הנחיות בעברית. אם תעמיסו 200 צעדי DDIM על חומרה שיתופית, תקבלו זמני המתנה ארוכים מאוד שלא תמיד מצדיקים את השיפור באיכות.

איך משתמשים

טוענים קובץ אודיו קצר, מקלידים טקסט, ואם רוצים נכנסים להגדרות המתקדמות כדי לקבוע את כמות צעדי הדיפוזיה בין 25 ל־200, סקאלת ההנחיה ועוצמת ההשפעה של הרפרנס. השרת יושב על חומרת A10G של אנבידיה שמוקצית לפי דרישה, כך שזמן היצירה תלוי במספר הצעדים ובשאלה אם החומרה בדיוק מתעוררת מתרדמת. אין צורך בחשבון כדי ללחוץ על Generate, אבל בשעות עמוסות ייתכן שתמתינו בתור.

הרישיון

הפרויקט מופץ תחת רישיון MIT. הרישיון הזה מתיר שימוש חופשי בקוד, כולל עריכה, הפצה ושימוש מסחרי, כל עוד שומרים על תנאי הרישיון המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗