AudioLDM_48K_Text-to-HiFiAudio_Generation

מה זה

כותבים תיאור טקסטואלי של הצליל שרוצים, מקבלים וידאו שמציג את צורת הגל של השמע לצד האודיו עצמו. הממשק מבוסס על מודל AudioLDM 2 שמייצר סאונד מתוך טקסט, ומשתמש בקוד להרכבת צורת הגל על גבי תמונת רקע.

בהגדרות המתקדמות אפשר לקבוע את משך הסאונד, לשנות את הסיד ליצירה עקבית, לכוון את סולם ההנחיה, לבחור כמה מועמדים לייצר, ולבחור את שם המודל מתוך תפריט. הדוגמאות בעמוד נשמרות מראש כדי שאפשר יהיה לבדוק תוצאות בלי לחכות ליצירה מאפס.

מתאים ל

• יצירת אפקטים קוליים

  מזינים תיאור של רעש רקע או אפקט כדי לקבל סאונד מקורי לפרויקט אישי.

• בדיקת איכות שמע גבוהה

  מפיקים דגימות ב־48 קילוהרץ כדי לבחון את היכולת של המודל לעומת גרסאות קודמות.

• ניסוי בהנחיות שונות

  משנים את סולם ההנחיה והסיד כדי לראות איך המודל מגיב לשינויים עדינים.

איפה זה נופל

הבעיה המרכזית היא שהעמוד מדווח על שגיאת ריצה, ולכן אי אפשר לייצר כרגע אודיו ישירות מהממשק. מעבר לזה, הפלט מוצג כקובץ וידאו עם גרף גל ולא כקובץ אודיו רגיל להורדה פשוטה. אם אתם בונים על כלי פעיל בדפדפן, תצטרכו לחכות לתיקון או להוריד את הקוד ולהריץ אותו בסביבה משלכם.

איך משתמשים

מקלידים תיאור בתיבת הטקסט, משנים הגדרות מתקדמות אם רוצים שליטה במשך הזמן או בסולם ההנחיה, ולוחצים על הכפתור הראשי. המודל מוגדר לרוץ על חומרת A10G גדולה, אבל כרגע האפליקציה נמצאת במצב של שגיאת ריצה בדפדפן, כך שהיא לא תעבד בקשות חדשות עד שהמפתח יתקן אותה.

הרישיון

הרישיון הוא מסוג קוד פתוח לא מסחרי. אפשר להשתמש במודל ובקוד למחקר ולניסויים אישיים, אבל אסור לעשות בהם שימוש מסחרי מכל סוג.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗