magenta-rt-jam
רץ בדפדפןmagenta-communityרישיון לא דווח2026-06-04
הדגמת רשת שמגיבה לנגינה בזמן אמת ומייצרת אודיו שמלווה אתכם. מתאימה למוזיקאים ומפתחים שרוצים לבדוק איך מודל למידה עמוקה מגיב לתווים בלייב.
- —הורדות בחודש
- 41לייקים
מה זה
אתם מנגנים תווים במקלדת או דרך חיבור MIDI בדפדפן, והמערכת מייצרת אודיו רציף שמתאים את עצמו לקלט שלכם תוך כדי תנועה. במקום לתת פרומפט טקסטואלי רגיל ולהמתין לקובץ שלם, הנגינה מכתיבה את הכיוון של המוזיקה בכל רגע.
מאחורי הקלעים רצים המודלים Magenta RealTime 2 של גוגל יחד עם MusicCoCa בגרסת PyTorch טהורה. הקוד כולל אפשרות בחירה בין שני גדלים של המודל, גרסת בסיס וגרסה קטנה, כשהם נטענים מראש בגרסאות מקומפלות כדי לאפשר תגובה מהירה ברקע.
הקוד חושף תקשורת מבוססת WebSocket שמעבירה את נתוני התווים והאודיו הלוך ושוב, כך שהממשק פועל כסוג של ג'אם דינמי מול המודל ולא כמחולל קבצים רגיל להורדה.
מתאים ל
- אימפרוביזציה וליווי חי
נגינה חופשית במקלדת כשהרשת מייצרת צלילים ומגיבה לשינויי המלודיה בזמן אמת.
- בדיקת זמני תגובה למודל
בחינת יכולת ההתמודדות של מודלי מוזיקה מבוססי PyTorch עם קלט MIDI רציף.
- השוואת גודלי משקלים
מעבר בין גרסת הבסיס לגרסה הקטנה כדי לבדוק את הפער באיכות הסאונד וביציבות.
איפה זה נופל
זמן התגובה תלוי בחיבור הרשת שלכם ובחלוקת המשאבים של השרת, כך שעלול להיווצר שיהוי שפוגע בתחושת הנגינה הרציפה. בנוסף, מדובר בהדגמה ממוקדת לבדיקת יכולת ההיענות לתווים, ללא עריכת סאונד מתקדמת או שליטה מלאה בפרמטרים של ההפקה המוזיקלית.
שאלות
נפוצות
האם השימוש בעמוד כרוך בתשלום?
הגישה פתוחה בדפדפן ללא עלות. עם זאת, המערכת משתמשת בהקצאת חומרה מסוג ZeroGPU שכוללת מכסת שימוש לפי כתובת רשת, ולכן ייתכנו הגבלות זמן לאחר שימוש רציף.
האם אפשר להריץ את זה באופן מקומי?
הקוד משתמש בספריות PyTorch וטוען קבצים ממאגרים ציבוריים, כך שניתן עקרונית למשוך אותו ולהריץ בסביבה פרטית. תצטרכו כרטיס גרפי מתאים כדי להתמודד עם דרישות העיבוד בזמן אמת.
איך מחברים מקלדת חיצונית להדגמה?
הממשק נשען על קלט MIDI ישיר מהדפדפן או לחיצה על המקלדת במסך. אם הדפדפן שלכם מזהה את התקן ה־MIDI שלכם, תוכלו לשלוח את התווים ישירות אל המודל ללא תוכנת תיווך.
איך משתמשים
פותחים את העמוד בדפדפן, בוחרים את גרסת המודל ומתחילים לנגן דרך הממשק או מקלדת מחוברת. הביצועים נשענים על מאיץ A10G שמוקצה לפי דרישה דרך ZeroGPU, כך שאין צורך בהתקנה מקומית כדי להתחיל. עם זאת, הזמן מוגבל במכסה לפי כתובת רשת, ואם יש עומס שרתים תצטרכו להמתין להקצאת חומרה.
הרישיון
לא צוין רישיון קוד פתוח או שימוש מסחרי מוגדר עבור המרחב הזה. מומלץ לבדוק את תנאי השימוש הספציפיים של משקלי המודל של גוגל לפני שמנסים להשתמש בתוצרים בפרויקט מסחרי.