Orpheus-Music-Transformer

מה זה

מעלים קובץ MIDI כנקודת התחלה או בוחרים עד חמישה כלי נגינה ישירות מהממשק, ואפשר גם פשוט ללחוץ על יצירה בלי להגדיר כלום ולקבל קטע אקראי. בפלט מקבלים קובץ MIDI להורדה, תצוגה גרפית של התווים, והשמעה של האודיו שנוצר בעזרת קובץ SoundFont ייעודי. בדף משובץ גם נגן SoundCloud עם דוגמאות מוכנות שאפשר להאזין להן לפני שמתחילים.

מאחורי הקלעים רץ מודל אוטורגרסיבי בשם Orpheus שמבוסס על ארכיטקטורת x-transformer עם חלון הקשר של 8k טוקנים, ואומן על מעל 2.31 מיליון קובצי MIDI איכותיים מתוך מאגר Godzilla. המערכת מחשבת את התוצאות בדיוק bfloat16 ומאפשרת לשלוט בפרמטרים כמו טמפרטורה, top-p, הוספת תופים ובקשת סיומת לקטע.

מתאים ל

• פיתוח רעיונות להלחנה

  יצירת קטעי מוזיקה אקראיים מרובי כלים שמשמשים כהשראה ראשונית לעבודה על קטע חדש בתוכנת עריכה.

• המשך של קטע קיים

  העלאת קובץ MIDI קיים ומתן פקודה למודל להמשיך אותו מבחינה הרמונית ומבנית לאורך טוקנים נוספים.

• בניית ליווי ועיבוד

  בחירת הרכב כלים מוגדר של עד חמישה כלים שונים לצורך יצירת שכבות נגינה או תופים לקטע.

איפה זה נופל

הכלי מייצר MIDI בלבד ולא שיר מוגמר, כך שהאודיו ששומעים בממשק מבוסס על סינתזה בסיסית של SoundFont ולא על הפקה אקוסטית חיה. בנוסף, חלון יצירת הטוקנים מוגבל לעד 1024 טוקנים בכל לחיצה, מה שאומר שאי אפשר להפיק יצירה שלמה וארוכה בפעימה אחת אלא חייבים לבנות אותה במקטעים דרך הממשק.

איך משתמשים

בוחרים כלים או מעלים קובץ, מגדירים את כמות הטוקנים ואת ההגדרות הרצויות ולוחצים על Generate. אין צורך בהרשמה או התחברות כדי להתחיל לעבוד. ההרצה מתבצעת על גבי מעבד גרפי מסוג A10G שמוקצה לפי דרישה, כך שאם השרת קר יכול לקחת רגע עד שהמודל ייטען לזיכרון, אבל היצירה עצמה רצה מהר יחסית. בסיום אפשר לבחור מקבצים שונים, לצרף אותם לקומפוזיציה המרכזית ולהוריד את התוצאה הסופית.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שינוי, הפצה ושימוש מסחרי בקוד ובמודל עצמו. לגבי הקבצים שמעלים או ה־MIDI שנוצר, הרישיון אינו מגביל את זכויות היוצרים שלכם על החומרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗