magenta-realtime-2

מה זה

הארכיטקטורה כאן מחברת בין שלושה חלקים. מקודד ספקטרוסטרים שממיר אודיו סטריאו ב־48 קילוהרץ לטוקנים, רכיב מיוזיק־קוקה שמחבר טקסט וסאונד לאותו מרחב וקטורי, ומודל שפה מסוג דקודר בלבד שמייצר את הטוקנים פריים אחרי פריים. החידוש המרכזי מול הדור הקודם הוא המעבר לאוטורגרסיה ברמת הפריים הבודד במקום בלוקים שלמים, מה שמאפשר שליטה מדויקת יותר בזמן אמת. המודל אומן על כ־71 אלף שעות של מוזיקת סטוק, בעיקר אינסטרומנטלית, באמצעות מעבדי טי־פי־יו וספריית ג'אקס.

קיימות שתי גרסאות של המודל. גרסת בייס עם 2.4 מיליארד פרמטרים וחלון קשב של עשרים שכבות, וגרסת סמול קלה יותר עם 230 מיליון פרמטרים על 12 שכבות. לשתיהן יש טווח קליטה אפקטיבי של עשרים שניות אחורה. השילוב הזה מאפשר לו להגיב לשינויים תוך כדי נגינה או קבלת פקודות, כשהמערכת דוחפת פריים של 12 טוקנים בקצב של 25 הרץ.

מתאים ל

• פסקול דינמי למשחקים

  המודל מסוגל לשנות את המוזיקה תוך מאתיים מילישניות בהתאם לפעולות השחקן בסצנה.

• הופעות חיות עם מידי

  שליטה ישירה בפרמטרים של הסאונד בזמן אמת מתוך כלי נגינה או מקלדת מידי.

• הנגשת יצירה מוזיקלית

  שילוב משתמשים ללא רקע טכני בג'אם חי באמצעות הנחיות טקסט קצרות.

איפה זה נופל

הוא לא מיועד לשירים עם מילים. האימון התבסס בעיקר על מוזיקה כלית, וגם כשמנסים לדחוף אותו לייצר קולות אנושיים מקבלים הברות לא ברורות ואפקטים קוליים בלי שפה אמיתית. מעבר לזה, כיסוי הז'אנרים שלו מוגבל למה שהיה קיים במאגר מוזיקת הסטוק שעליו הוא הוכשר, ואין עדיין דוחות ביצועים ומדדים מספריים רשמיים, גוגל מציינים שהם יפורסמו רק במאמר עתידי.

איך מריצים

כדי להריץ אותו מקומית צריך לפרוס 14.5 ג'יגה־בייט של קבצים ולהתקין את הספרייה היעודית של מג'נטה בריפו של הפרויקט. גרסת הבייס דורשת כרטיס מסך חזק עם מספיק זיכרון כדי להחזיק את המודל ולשמור על קצב יצירה של 25 הרץ בלי ליפול מהשיהוי של מאתיים מילישניות. אם אתם מכוונים למכשירי קצה או לשרת צנוע, גרסת הסמול עם 230 מיליון פרמטרים היא האופציה הריאלית היחידה להרצה מקומית יציבה.

אין כאן שירות ענן מנוהל או נקודת קצה מסחרית רשמית שמוזכרת מלבד ההיסטוריה מול ממשק לירייה, כך שמי שבוחר בו צריך לקחת בחשבון ניהול שרתים עצמאי לחלוטין. אם אין לכם חומרה שמסוגלת לעבד אודיו בסטרימינג ללא תקיעות, המודל פשוט יקרטע ולא יספק את חוויית הזמן אמת.

pip install -U huggingface_hub
hf download google/magenta-realtime-2

הקבצים

18 קבצים במאגר, 14.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• checkpoints/mrt2_base.safetensors9.8 GB
• models/mrt2_base/mrt2_base.mlxfn2.8 GB
• checkpoints/mrt2_small.safetensors1.1 GB
• models/mrt2_small/mrt2_small.mlxfn455.7 MB
• resources/musiccoca/text_encoder.tflite418.7 MB
• resources/musiccoca/music_encoder.tflite370.9 MB
• resources/spectrostream/decoder.safetensors209.9 MB
• resources/spectrostream/spectrostream_encoder.mlxfn104.3 MB
• resources/musiccoca/mapper.tflite86.2 MB
• resources/musiccoca/pretrained_vector_quantizer.tflite72.4 MB
• resources/spectrostream/quantizer.safetensors67.1 MB
• resources/spectrostream/encoder.safetensors37.0 MB
• models/mrt2_base/mrt2_base_state.safetensors16.9 MB
• resources/musiccoca/audio_preprocessor.tflite8.7 MB
• models/mrt2_small/mrt2_small_state.safetensors8.7 MB
• resources/musiccoca/spm.model517.4 KB
• README.md9.9 KB
• .gitattributes2.0 KB

הרישיון

משקלי המודל משוחררים תחת רישיון קריאייטיב קומונס ייחוס 4.0, והקוד תחת אפאצ'י 2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, כל עוד נותנים קרדיט מתאים. גוגל מבהירה שהיא לא דורשת זכויות על הפלטים שנוצרים, אבל מטילה את מלוא האחריות החוקית וזכויות היוצרים על המשתמש.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗