M2UGen-Demo

מה זה

הממשק מבוסס על צ'אט שבו מזינים הנחיה טקסטואלית לצד קובץ מדיה לבחירה: תמונה, אודיו או וידאו. בפלט מקבלים תשובה בצ'אט וקטע אודיו מיוצר, כשאפשר לקבוע מראש את אורך הצליל בין 5 ל־30 שניות ולשלוט בטמפרטורה וב־Top P.

מאחורי הקלעים רצה ארכיטקטורה כבדה שמשלבת כמה מודלים יחד. הקוד טוען מודלי ראייה כמו ViT של גוגל, עיבוד שפה באמצעות Flan-T5, ומודלי יצירת שמע מובילים כולל MusicGen של פייסבוק ו־AudioLDM2.

הדוגמאות המוכנות מציגות יצירת מוזיקה שמתאימה לאווירה של תמונה בשחור-לבן, הפקת צליל לפי כלי נגינה שמופיע בתמונה, והחלפת כלי נגינה בתוך קובץ שמע קיים, כמו החלפת פסנתר בגיטרה אקוסטית או חילוץ תופים.

מתאים ל

• התאמת מוזיקה לתמונות

  מעלים תמונה או וידאו ומבקשים לייצר קטע קול לפי האווירה או הכלים שמזוהים בפריים.

• עריכת כלים בקובץ קיים

  מזינים קובץ אודיו ומבקשים להחליף כלי נגינה ספציפי, למשל להמיר פסנתר בגיטרה.

• בידוד מקצבים משמע

  מבודדים ערוצים ספציפיים מתוך שיר, כמו חילוץ תופים מתוך קטע מוזיקלי נתון.

איפה זה נופל

הבעיה המיידית היא שההדגמה שבורה לחלוטין בגלל שגיאת ריצה. מעבר לזה, חיבור של כל כך הרבה מודלים שונים יוצר תלות כבדה, וכל חוסר התאמה בין זיהוי התמונה למודל המוזיקה מוביל לתוצאה לא קשורה.

ההדגמה גם מגבילה את אורך האודיו ל־30 שניות בלבד. אי אפשר לבנות כאן רצועות ארוכות או לצפות להבנה של עברית בהנחיות הטקסט, שכן מודלי הבסיס מאומנים באנגלית.

איך משתמשים

טוענים קובץ למשבצת המתאימה, כותבים הנחיה בתיבת הטקסט ולוחצים על Submit & Run. אם רוצים לשנות את אורך הקטע, פותחים את ההגדרות המתקדמות וגוררים את הסליידר.

בפועל אין אפשרות להריץ אותה כרגע בדפדפן. המופע מוגדר על חומרת שרת חזקה של שני כרטיסי A10G, אבל נמצא במצב שגיאת ריצה ולכן הממשק תקוע ולא יפיק תוצאות עד שהמפתח יתקן אותו.

הרישיון

הקוד מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה כולל שימוש מסחרי. החומרים שמעלים והאודיו שנוצר כפופים גם לתנאי הרישיונות של המודלים הפנימיים שנמצאים בשימוש, כמו MusicGen ו־Flan-T5.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗