musicgen-streaming
רץ בדפדפןsanchit-gandhiרישיון לא דווח2023-09-07
הדגמה שמייצרת מוזיקה לפי תיאור טקסט ומזרימה את השמע תוך כדי יצירה, במקום לחכות שהקובץ כולו יסתיים. מתאים למי שרוצה לשמוע איך MusicGen עובד בשידור חי ישירות בדפדפן.
- —הורדות בחודש
- 297לייקים
מה זה
מקלידים תיאור טקסטואלי של המוזיקה שרוצים, כמו סגנון, כלים או אווירה, ובוחרים את אורך הקטע בין 10 ל־30 שניות. ברגע שמפעילים, השמע מתחיל להתנגן בחלקים קטנים לפי מרווח הזרמה של חצי שנייה עד 2.5 שניות, בלי צורך לחכות שכל הקטע ירונדר.
מאחורי הקלעים רץ המודל facebook/musicgen-small לצד המפענח facebook/encodec_32khz דרך ספריית transformers. הקוד מריץ תהליך של הזרמת טוקנים בעזרת streamer ייעודי, מה שמאפשר לפענח מקטעי אודיו קצרים ברקע ולהזרים אותם ישירות לנגן של gradio.
ברירת המחדל בתיבת הטקסט מכוונת לקטע פופ משנות השמונים עם סינתיסייזרים וכלים חיים, ויש גם בורר seed בין 0 ל־10 שמאפשר לקבל תוצאה עקבית או לגוון אותה.
מתאים ל
- בדיקת מהירות הזרמת שמע
מאפשר לבחון איך מודל מוזיקה מנגן מקטעים בזמן אמת בלי להמתין לעיבוד הקובץ המלא.
- יצירת סקיצות סאונד קצרות
מייצר קטעי מוזיקה של 10 עד 30 שניות על בסיס תיאור טקסט חופשי באנגלית.
- בחינת תגובת המודל לפרומפטים
עוזר להבין אילו סגנונות וכלי נגינה המודל הקטן מצליח לייצר בצורה משכנעת.
איפה זה נופל
הקוד טוען את הגרסה הקטנה של המודל, facebook/musicgen-small, ולא את הגרסאות הגדולות והעשירות יותר של פייסבוק, כך שאיכות הצליל והמורכבות המוזיקלית מוגבלות מראש. בנוסף, מרווח הזרמה קצר מדי אומנם מוריד את זמן ההמתנה הראשוני, אבל יוצר עומס גדול יותר של פענוח codec. אורך הקטע מוגבל מראש לעד 30 שניות בלבד, ואי אפשר להזין קובץ אודיו כרפרנס אלא רק טקסט באנגלית.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, השימוש בדפדפן פתוח לחלוטין וללא עלות. אין צורך להזין אמצעי תשלום ואין צורך להתחבר עם שם משתמש.
במה ההדגמה הזו שונה מהרצת MusicGen הרגיל?
היא מיישמת מנגנון הזרמה מיוחד שמשמיע את המוזיקה במקטעים קצרים תוך כדי יצירתה. במקום להמתין לסיום החישוב של כל 30 השניות, הנגן מתחיל לעבוד כמעט מיד.
האם אפשר להריץ את זה מקומית על המחשב?
כן, הקוד מבוסס על ספריות סטנדרטיות כמו transformers ו־gradio, והמודלים זמינים להורדה חופשית. כדי לקבל ביצועים סבירים בזמן אמת, תצטרכו כרטיס מסך מתאים עם זיכרון מספק בדומה ל־A10G שבו המערכת משתמשת ברשת.
מה קורה עם הטקסט והקבצים שמזינים פנימה?
אתם לא מעלים קבצים לממשק אלא רק מקלידים טקסט, והשמע נוצר ישירות בשרת ונשלח לדפדפן. מאחר שההדגמה רצה על תשתית ציבורית ללא רישיון מוצהר, לא כדאי להזין טקסטים רגישים או סודיים.
איך משתמשים
לוחצים על כפתור ההפעלה בממשק אחרי שמגדירים את הטקסט, האורך וה־seed הרצוי. ההדגמה רצה על גבי מאיץ zero-a10g, מה שמספק כוח עיבוד של כרטיס גרפי ייעודי בזמן הריצה ומקצר את זמן ההמתנה לתחילת הניגון. אין צורך בהרשמה או התחברות לחשבון כדי להשתמש בה.
הרישיון
הרישיון לאפליקציה עצמה לא דווח במאגר. המודלים של פייסבוק מגיעים עם תנאי שימוש משלהם, אך בהיעדר רישיון מוגדר לקוד של ההדגמה, אין היתר ברור לשימוש מסחרי בקוד או בהטמעה שלו.