AudioGen
רץ בדפדפןcocktailpeanutcc-by-nc-4.02023-08-05
כותבים תיאור טקסטואלי ומקבלים קובץ שמע שנוצר לפי ההוראות. הממשק פונה למי שרוצה לבדוק יצירת אפקטים וצלילים ממודל פתוח בלי להגדיר סביבת קוד.
- —הורדות בחודש
- 93לייקים
מה זה
הממשק מבוסס על המודל facebook/audiogen-medium מבית מטא דרך ספריית audiocraft. אתם מקלידים הנחיה באנגלית בשדה Input Text, קובעים את אורך הקטע בשניות ומגדירים פרמטרים של דגימה. מאחורי הקלעים הקוד מריץ יצירה באמצעות הטמעת טקסט ורשת אשכולות שמייצרת רצף צליל.
בסיום התהליך מקבלים שתי תוצאות שונות בעמוד. התוצאה הראשונה היא נגן שמע שמספק קובץ wav רגיל להורדה ולהאזנה, והתוצאה השנייה היא נגן וידאו שמציג את צורת הגל של הסאונד שנבנה בעזרת סקריפט ייעודי של גרדיו. אין בממשק הזה רשימת דוגמאות מוכנות מראש, כך שאתם נדרשים לחשוב בעצמכם על תיאור הצליל שאתם רוצים להפיק.
מתאים ל
- בדיקת אפקטים קוליים
יצירת דגימות קצרות של צלילי סביבה ואפקטים מתוך תיאור טקסטואלי באנגלית.
- הפקת קבצי wav להדגמה
הורדת קובץ אודיו גולמי של עד שתי דקות לצורך שילוב בסקיצות עריכה.
- ייצוא וידאו עם גל קול
יצירת קובץ וידאו הכולל המחשה חזותית של צורת הגל ישירות מתוך הדפדפן.
איפה זה נופל
הבעיה הגדולה ביותר היא שהאפליקציה נמצאת במצב שגיאת בנייה ולכן אינה זמינה כרגע להרצה ישירה ברשת. מעבר לזה, המודל היחיד שמוצע לבחירה בממשק הוא גרסת המדיום, בלי גישה לגרסאות אחרות או למפענח חלופי מלבד Default.
המודל תומך ביצירת אפקטים וקולות רקע על פי הנחיות באנגלית בלבד. אם תזינו עברית סביר להניח שלא תקבלו תוצאה הגיונית, והחומרה החלשה יחסית תוביל להמתנה ממושכת על קטעים שמתקרבים למקסימום של שתי דקות.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה כרגע בדפדפן?
לא. הסטטוס שלה מוגדר בתור BUILD_ERROR ולכן היא לא תרוץ עד שיוצר המרחב יתקן את שגיאות ההתקנה.
כמה זמן לוקח לייצר קטע קול?
זה תלוי באורך שבחרתם, שנע בין שנייה אחת ל־120 שניות. החומרה המוגדרת היא מאיץ t4-small, שדורש זמן עיבוד מורגש עבור קטעים של עשרות שניות.
האם מותר להשתמש בצלילים לסרטון מסחרי?
לא, הרישיון של המרחב הוא cc-by-nc-4.0. ההגבלה הזו מונעת שימוש מסחרי מכל סוג בתוצרים.
האם אפשר להריץ את הקוד באופן מקומי?
כן. הקוד מבוסס על audiocraft ו־gradio, כך שניתן להעתיק את app.py ולהריץ אותו במחשב עם כרטיס מסך תואם.
איך משתמשים
בצד הטכני של המסך אתם בוחרים את האורך המבוקש מתוך סליידר שנע בין שנייה אחת ל־120 שניות, כאשר ברירת המחדל עומדת על עשר שניות. חוץ מזה יש אפשרות לכוונן ערכי Top-k, Top-p, טמפרטורה ומקדם הנחיה, ולוחצים על Submit. אם התהליך ארוך מדי, קיים כפתור Interrupt לעצירה מיידית.
הקוד אמור לרוץ על חומרת t4-small, אך נכון לעכשיו סטטוס העמוד מוגדר כ־BUILD_ERROR. המשמעות היא שהעמוד הנוכחי תקוע בשלב הבנייה ולא יבצע את החישוב בפועל אם תנסו להריץ אותו ישר ברשת.
הרישיון
הפרויקט מפורסם ברישיון cc-by-nc-4.0. הרישיון הזה מתיר שימוש אישי, שיתוף והתאמה של הקוד, אך אוסר במפורש כל שימוש מסחרי בתוצרים או במערכת עצמה ללא אישור מתאים מבעלי הזכויות.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא