AudioCraft

הסקירה

מזינים שורת טקסט באנגלית, ומקבלים קובץ שמע של קטע מוזיקלי או אפקט קולי מהסביבה. AudioCraft מאגד תחתיו בסיס קוד של Meta ומספר מודלים שונים שנועדו ליצור צלילים ישירות מאותות אודיו גולמיים. במקום להסתבך עם חיבור בין כמה מערכות נפרדות, הכל יושב על אותה תשתית חישובית. המערך הזה נשען על מקודד בשם EnCodec שלוקח את גלי הקול, מפרק אותם לטוקנים דחוסים, ומאפשר למודל שפה לייצר מהם רצף שמע חדש לגמרי. זה עובד ישירות מול הקוד הפתוח שמפורסם בריפו של המחקר.

זה לא שירות אונליין מסודר.

מודלים שונים תחת אותו קוד

הפרויקט הזה מחלק את העבודה לשני מנועים מרכזיים בהתאם למה שאתם מנסים להפיק. המודל הראשון נקרא MusicGen, והוא מתמקד ביצירת קטעי מוזיקה מגוונים וארוכים יחסית מתוך תיאור טקסטואלי חופשי שתספקו לו. המודל השני נקרא AudioGen, והוא מכוון לייצור רעשי סביבה ואפקטים קוליים מציאותיים מאותם תיאורים כתובים. שניהם מבוססים על אותו מודל שפה יחיד שמריץ תחזית רציפה על גבי זרמי הטוקנים של הצליל. זה שווה את זה רק אם אתם מפתחים או חוקרים שמוכנים להוריד משקלים ממאגר GitHub ולהרים הכל בעצמכם על חומרה מתאימה. מי שמחפש פשוט ללחוץ על כפתור באתר יתאכזב מאוד.

ההבדל המשמעותי לעומת כלים מסחריים הוא השליטה המלאה בארכיטקטורה. אין פה ממשק גרפי מלוטש, אין חשבון משתמש ואין כפתור שמוריד שיר בדפדפן. כל התהליך מתחיל בקישור למאגר הקוד של Meta AI, ומשם אתם צריכים להריץ את המודלים מקומית או על שרת ענן ייעודי. לא הייתי משתמש בזה אם אתם עורכי וידאו שרק צריכים צליל של דלת נסגרת תוך שתי דקות לעבודה דחופה. זה דורש ידע טכני ממשי בהרצת מודלים, בהתקנת ספריות קוד, ובהבנה של תהליכי קידוד ופענוח אותות שמע.

האתר באנגלית בלבד. עברית לא מוזכרת בשום מקום בדוקומנטציה, וכדי שהמודל יבין מה אתם רוצים תצטרכו להזין תיאורים באנגלית בלבד.

כמה זה עולה ולמה אין מחיר

באתר הרשמי לא צוין שום מחיר, ומסלולי תשלום פשוט לא קיימים שם. הסיבה פשוטה: מדובר בפרויקט מחקר של Meta שמשחרר את הקוד והמודלים לציבור ללא עלות רישום או מנוי חודשי באתר. יחד עם זאת, הרצה של מודלים כאלה כבדה מאוד מבחינת משאבים. אם אין לכם מחשב חזק מאוד עם מעבד גרפי רציני, תצטרכו לשכור שרתים מרוחקים ולשלם עליהם לפי שעה לחברות ענן. החינם של הקוד לא אומר שההרצה שלו תהיה בחינם.

• מחיר רשמילא צוין באתר
• קוד המקורזמין בחינם ברשת
• ממשק בדפדפןלא קיים למשתמשים

מה שבאמת מפריע כאן הוא שאין באתר פירוט ברור על דרישות החומרה המינימליות. הם מציגים דוגמאות שמע יפות של AudioGen וקטעים של MusicGen, אבל לא מספרים כמה זיכרון תצטרכו כדי להפיק קטע באורך של עשרים שניות בלי לקבל שגיאת קריסה. אם אתם רוצים לבדוק אם הכלי מתאים לכם, תצטרכו לקרוא את כרטיסי המודל בקישורי הגיטהאב ולא להסתמך רק על דף הבית. הוא מציג חלון ראווה טכנולוגי נקי ומעניין, אך משאיר את כל העבודה השחורה של הקמת הסביבה בידיים שלכם בלבד.

לפני שמורידים משהו, כדאי להיכנס לעמודי ההדגמה ולשמוע את דגימות השמע המוכנות. הן מציגות בדיוק את הגבול של מה שהמודל יודע לייצר.