AudioCraft_Plus

מה זה

בממשק בוחרים בין יצירת מוזיקה לאפקטים קוליים. מזינים תיאור טקסטואלי חופשי, ובמידת הצורך קובעים קצב פעימות לדקה, סולם מוזיקלי, מודוס מז'ורי או מינורי, והנחיות מובנות לפי זמנים. אפשר להעלות קובץ שמע קיים או להקליט ישירות ממיקרופון כדי לבצע המשך לקטע או להשתמש בו כמלודיה מנחה. הפלט שמתקבל כולל קובץ שמע להורדה וסרטון המציג את צורת הגל.

מאחורי הקלעים רצה ספריית AudioCraft של מטא, הכוללת את המודלים MusicGen בגרסאות small, medium, melody ו־large, לצד AudioGen ליצירת אפקטים. המערכת כוללת תמיכה במפענחי EnCodec בתדרים של 24kHz ו־32kHz, שימוש ב־MultiBand Diffusion, ואפשרות לטעון מודלים מותאמים אישית.

מתאים ל

• הלחנה לפי קצב וסולם

  מגדירים BPM, סולם וטקסט תיאורי כדי לחולל קטע מוזיקלי מובנה עם התפתחות לאורך זמן.

• המשך של קטע קיים

  מעלים קובץ קול או מקליטים במיקרופון ומייצרים לו המשך אודיו בסגנון תואם לפי הנחיות.

• יצירת אפקטי קול

  מריצים את מודל AudioGen על תיאורי סביבה כדי לקבל אפקטים קוליים ודגימות שמע קצרות.

איפה זה נופל

הבעיה המרכזית כרגע היא שהעמוד לא פעיל וקורס בהרצה. מעבר לזה, הקוד דורש GPU כדי לבצע את החישוב בפועל, בעוד שהעמוד הוקצה עם מעבד רגיל בלבד. ממשק הפרמטרים מורכב ועמוס בעשרות כפתורים ותיבות תיאור שעלולים לבלבל, ואי אפשר להסתמך על תקינותו ככלי עבודה זמין ברשת.

איך משתמשים

לוחצים על הלשונית הרצויה, מגדירים את מילות התיאור, בוחרים מודל ולוחצים על כפתור ההרצה. לא צריך חשבון או כניסה עם שם משתמש. עם זאת, האפליקציה נמצאת כעת במצב שגיאת ריצה (RUNTIME_ERROR), והחומרה שמוגדרת לה היא cpu-basic בלבד. הקוד עצמו מנסה להעביר את החישובים למעבד גרפי ב־CUDA, כך שכרגע לא ניתן להפיק דרכה שמע בפועל ישירות בדפדפן.

הרישיון

הקוד מופץ תחת רישיון MIT, המאפשר שימוש חופשי ושינויים בקוד המקור. לגבי המודלים המובנים מבית מטא והאודיו שנוצר, יש לפעול לפי תנאי השימוש המקוריים של AudioCraft.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗