auffusion

מה זה

הממשק מחולק לשלוש לשוניות עבודה. בלשונית הראשונה מקלידים תיאור טקסטואלי ומקבלים קובץ שמע. בלשונית השנייה מעלים קובץ WAV יחד עם תיאור כדי לשנות את הסגנון של הצליל, ובלשונית השלישית מסמנים מקטע מסוים מתוך קובץ שמע באמצעות נקודות התחלה וסיום כדי להחליף אותו בצליל חדש. הממשק מאפשר גם לצפות בספקטרוגרמות של האודיו כדי להשוות בין הקלט לפלט.

מאחורי הקלעים נעשה שימוש במודל Auffusion יחד עם רכיבי Stable Diffusion 1.5 ו־CLIP של OpenAI. הרעיון הטכני מתבסס על המרת גלי הקול לתמונות ספקטרוגרמה של תדרי מל, הרצת מודל הדיפוזיה על התמונה בדיוק כמו ביצירה או עריכה של תמונות רגילות, ואז המרה חוזרת של התמונה לצליל בעזרת Vocoder. הדוגמאות המובנות בממשק כוללות צפירת אמבולנס, מיאו של חתול, מרוץ מכוניות, בכי תינוק ונביחות כלב.

מתאים ל

• יצירת אפקטים קוליים

  הפקת רעשי רקע, קולות של חיות וצלילים מותאמים מתוך טקסט עבור סרטונים.

• שינוי סגנון לצליל קיים

  העלאת קובץ קול והלבשת אופי חדש עליו בעזרת הנחיית טקסט ועוצמת השפעה.

• החלפת קטע באודיו

  מחיקת מקטע צליל נקודתי והחלפתו ברעש אחר לפי מיקום שמוגדר בספקטרוגרמה.

איפה זה נופל

הכלי עובד על ייצוג חזותי של קול, ולכן קשה להגיע לדיוק מלא במילים מדוברות או בהגייה ברורה. הקלט בלשוניות העריכה מוגבל לקבצי WAV בלבד, והשליטה על מיקום העריכה נעשית דרך סליידרים של ערכים מספריים ולא בצורה חזותית על ציר זמן אמיתי של שניות. הדוגמאות המוכנות מראש מציגות מקרים פשוטים יחסית, ובטקסטים מורכבים מדי התוצאה עלולה להישמע מקוטעת או רועשת.

איך משתמשים

בוחרים את אחת משלוש הלשוניות, ממלאים את השדות ולוחצים על Submit. בשינוי אודיו אפשר לכוון את עוצמת ההשפעה של הטקסט, ובעריכת מקטע לוחצים תחילה על Preview Mask כדי לוודא שהטווח שנבחר בסליידרים מדויק. אין צורך בהרשמה או התחברות כדי להתחיל. השרת רץ על מעבד גרפי מדגם A10G של אנבידיה, כך שהעיבוד מתבצע תוך שניות בודדות, אך אם יש עומס משתמשים בו זמנית ייתכן שתמתינו בתור קצר.

הרישיון

הרישיון של היישום לא דווח במאגר. המשמעות היא שאין היתר מפורש לשימוש מסחרי בקבצים שנוצרים, וזכויות השימוש במודל ובקוד נשארות לא ברורות. כל תוכן שאתם מעלים או מפיקים נשלח ומעובד בשרתי Hugging Face הציבוריים.

הרישיון המלא ב־Hugging Face ↗