image-to-sound-fx
רץ בדפדפןfffiloniרישיון לא דווח2023-02-07
מעלים תמונה ומקבלים קובץ אודיו של אפקט קולי שאמור להתאים למה שרואים בה. הכלי מיועד ליוצרי תוכן או סאונד שרוצים רעיונות מהירים לצלילים בלי לחפש במאגרים.
- —הורדות בחודש
- 101לייקים
מה זה
אתם מעלים תמונה לתוך הממשק, ואם רוצים אפשר להוסיף תיאור טקסט ידני כדי לכוון את התוצאה. יש שני סליידרים להגדרה: משך הצליל, שמוגבל לחמש או עשר שניות בלבד, ומספר סיד שמתחיל בערך ברירת מחדל של 440. הפלט שמתקבל הוא נגן עם קובץ אודיו בשם sound.mp3.
מאחורי הקלעים אין כאן מודל חדש שנבנה מאפס. הקוד מחבר בין שני כלים נפרדים: מודל בשם CoCa שמפענח את התמונה ומייצר ממנה תיאור טקסטואלי, ומודל AudioLDM שמקבל את הטקסט ומייצר ממנו את האודיו בפועל.
מתאים ל
- אפקטים קצרים לסרטונים
הפקת רעשי רקע של חמש או עשר שניות לפי צילום מתוך סצנה קיימת.
- סקיצות לסאונד דיזיין
בדיקה מהירה של כיווני צליל לתמונה בלי לפתוח תוכנות עריכה כבדות.
- המחשת תמונות
יצירת צליל אווירה מותאם לתמונת סטילס כדי להציג אותה ברשת.
איפה זה נופל
האפליקציה לא מבינה סאונד מתוך תמונה אלא מנחשת מילים ומתרגמת אותן לרעש. אם מודל התמונה מפספס את מה שחשוב בפריים, תקבלו אפקט קולי שלא קשור בכלל למה שהתכוונתם. האפשרויות קצרות מאוד ומוגבלות לחמש או עשר שניות בלבד, כך שאי אפשר לבנות כאן פסקול שלם.
שאלות
נפוצות
האם השימוש עולה כסף?
לא, הדף זמין בחינם ברשת. עם זאת, נכון לעכשיו הוא מוגדר במצב מושהה ולא מאפשר הרצה ישירה.
כמה זמן לוקח לייצר צליל?
החומרה שהוגדרה היא מעבד בסיסי והתהליך מריץ שני מודלים בזה אחר זה. זה לוקח זמן מורגש לכל יצירה, במיוחד אם יש עומס.
מה קורה עם התמונות שמעלים?
התמונות נשלחות לשרת שמריץ את המודלים של CoCa ושל AudioLDM כדי לחלץ תיאור ולבנות את קובץ ה־mp3. הקוד כולל גם כפתור שיתוף לקהילה שמאפשר לפרסם את התוצאה.
אפשר להריץ את זה על המחשב?
הקוד עצמו קצר מאוד, אבל הוא תלוי בחיבור לשני מרחבים חיצוניים ספציפיים. כדי להריץ מקומית תצטרכו להתקין ולהפעיל את CoCa ואת AudioLDM ישירות אצלכם.
איך משתמשים
טוענים תמונה, בוחרים אם לכתוב תיאור בעצמכם, קובעים חמש או עשר שניות ולוחצים על הכפתור שמייצר את הסאונד. כרגע האפליקציה במצב מושהה ולא פעילה ישירות בדפדפן. מעבר לזה, הקוד מוגדר לרוץ על מעבד רגיל, כך שגם כשהיא פועלת מדובר בשרשור של שני מודלים שונים שפונים לחומרה בסיסית, מה שמוביל לזמני המתנה ארוכים לכל קובץ.
הרישיון
היוצר לא הגדיר רישיון שימוש בקוד. המשמעות היא שאין הרשאה ברורה להשתמש בקוד לפרויקטים משלכם, ומבחינה משפטית כל הזכויות שמורות לו. לגבי קובצי התמונות שמעלים והסאונד שנוצר, חלים תנאי השימוש הכלליים של השרת שמארח את הדף.