EzAudio

מה זה

כותבים תיאור טקסטואלי באנגלית של הצליל המבוקש ומקבלים קובץ שמע באורך של עד עשר שניות. בלשונית העריכה מעלים קובץ קול קיים, מגדירים חלון זמן מדויק לפי שניות, ומחליפים קטע מסוים בצליל חדש על בסיס טקסט. הממשק כולל גם דוגמאות מובנות לייצור ועריכה שמאפשרות לבדוק את התוצאות בלחיצה אחת.

מתחת למכסה המנוע רץ מודל דיפוזיה מסוג MaskDiT בשילוב מתזמן DDIM, יחד עם אנקודר טקסט מסוג T5 שמפרש את התיאור. עיבוד הקול והדחיסה נשענים על EnCodec בגרסת 32 קילו הרץ של מטא, ויש בקוד גם שימוש ב־Whisper של OpenAI.

מתאים ל

• ייצור אפקטים קוליים

  יצירת רעשי רקע ואפקטים ממוקדים לסרטונים ומשחקים ישירות מתיאור טקסטואלי.

• עריכת קטע בתוך סאונד

  החלפת מקטע פגום או הוספת צליל חדש בתוך קובץ שמע קיים לפי שניות מדויקות.

• הרחבת קובץ קיים

  הפעלת מצב השלמה חיצונית להמשך השמע מעבר לסוף הקובץ המקורי.

איפה זה נופל

אורך הקטע המקסימלי מוגבל לעשר שניות בלבד, כך שזה לא מתאים לפודקאסטים או לרצועות מוזיקה שלמות. בנוסף, עיבוד הטקסט בנוי סביב מודלים באנגלית בלבד, כך שהזנת עברית צפויה לתת תוצאות שגויות או רעש. במצב העריכה צריך לכוון את השניות ידנית בלי תצוגת גל קול מקדימה, מה שמקשה על פגיעה מדויקת ברגע הנכון.

איך משתמשים

בוחרים בין לשונית היצירה ללשונית העריכה, מקלידים הנחיה ולוחצים על Generate. ברירת המחדל מייצרת שמע באורך עשר שניות עם חמישים צעדי DDIM, ואפשר לשנות את הצעדים מ־25 עד 200 ואת מדד ההיצמדות לטקסט. ההרצה מתבצעת על גבי מעבד גרפי A10G שמוקצה לפי דרישה, מה שמאפשר עיבוד מהיר למדי, אם כי בזמני עומס יש לפעמים המתנה קצרה להקצאת החומרה. אין צורך בהתחברות כדי להתחיל לעבוד.

הרישיון

הפרויקט מופץ תחת רישיון MIT, שמאפשר שימוש חופשי ופתוח כולל למטרות מסחריות, שינוי הקוד והפצה. התוכן שנוצר שייך לכם, אך כדאי לזכור שהקבצים עוברים דרך השרתים של Hugging Face בזמן ההרצה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗