YuE-music-generator-demo

מה זה

הממשק מבוסס על שדות טקסט לז'אנר ולמילים, לצד תיבת סימון ואפשרות להעלות קובץ שמע כהנחיה. אפשר לקבוע את מספר המקטעים ואת אורך השיר באמצעות סליידר בין 1 ל־45 שניות, כשברירת המחדל עומדת על 30. התוצאה אמורה להחזיר קובץ שמע סופי מעורבב, ובנוסף שני נגנים נפרדים לערוץ שירה וערוץ כלים.

מאחורי הקלעים הקוד טוען מודלים מסדרת YuE של m-a-p בגרסת 7B יחד עם xcodec_mini_infer לעיבוד הקול. לפי התוכניות של המפתח רשום גם שימוש במודל AEROMamba לצורך שיפור איכות השמע ביציאה, אבל המערכת לא הגיעה ליציבות. יש בעמוד שתי קבוצות של דוגמאות שמורות מראש, אך כרגע אין גישה חופשית להרצה חיה.

מתאים ל

• בדיקת קוד הממשק

  צפייה במימוש של Gradio יחד עם ספריות השמע ומודלי YuE לפני הטמעה עצמאית.

• הפרדת שירה וכלים

  בחינת המבנה שמפיק ערוץ קולי וערוץ כלי נפרדים מתוך אותו הפרומפט.

• יצירת קטעי אודיו קצרים

  ניסיון הפקה של קטעים מוזיקליים של עד 45 שניות לפי מילים וסגנון נבחרים.

איפה זה נופל

הבעיה המיידית היא שהיא לא עולה כלל, כך שאי אפשר לייצר דרכה שום דבר כרגע. מעבר לזה, הממשק מגביל את אורך היצירה לעד 45 שניות בסליידר, למרות שהכותרת מבטיחה יצירת שירים מלאים. מי שמחפש לבדוק את היכולות האמיתיות של YuE יקבל כאן רושם חלקי מאוד, ובמצב הנוכחי עדיף לקחת את הקוד והמשקלים ישירות ולהריץ בסביבה עצמאית.

איך משתמשים

נכון לעכשיו אי אפשר להריץ אותה בדפדפן כי הסטטוס שלה מוגדר כשגיאת בנייה. במצב תקין מזינים ז'אנר, מילים, מגדירים את אורך השיר ולוחצים על כפתור השליחה.

ההדגמה מוגדרת לרוץ על חומרת zero-a10g של האתר, שמשתמשת במשאבים זמניים ומקצה כרטיס גרפי לפי דרישה. הרצה של מודלי שפה בגודל 7B עם עיבוד שמע דורשת זמן חישוב ממושך, מה שמוביל לעיכובים גם כשהשרת מתפקד.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד כולל התאמות ושימוש מסחרי בכפוף לתנאי הרישיון. לגבי קובצי השמע והמילים שאתם מעלים או מפיקים, הרישיון מכסה את תוכנת המקור ולא מפרט זכויות על תוצרי ההדגמה עצמה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗