ByteDance-Solo-Piano-Audio-to-MIDI-Transcription

מה זה

אתם מעלים קובץ שמע בפורמט WAV או MP3, והמערכת מחזירה קובץ MIDI מוכן להורדה, שמע מרונדר של התוצאה, סיכום טקסטואלי ותרשים חזותי של התווים שנוצרו. מתחת למכסה המנוע רץ מודל PianoTranscription של חברת ByteDance, שמנתח את גלי הקול ומבודד את גובה הצליל, משך הזמן ועוצמת הנגינה של כל קליד.

הקוד משתמש בספריית TMIDIX כדי לעבד את המידע המוזיקלי ולהפיק את תרשים הנגינה הגרפי, לצד מודול שממיר בחזרה את המידי לשמע כדי שתוכלו להאזין מיד לתוצאה בדפדפן. בממשק משולבות גם דוגמאות מובנות מראש, שמאפשרות לבדוק את התהליך מיד בלי להעלות קובץ משלכם, ולראות איך התמלול מתמודד עם קטעי פסנתר אמיתיים שנשמרו במטמון.

מתאים ל

• המרת אלתור פסנתר למידי

  הקלטתם סקיצה של פסנתר בטלפון ואתם רוצים להכניס אותה כתווים לתוכנת ההפקה בלי לנגן אותה שוב במקלדת שליטה.

• תמלול יצירות ללימוד

  הוצאת תפקיד פסנתר מתוך הקלטת סולו ישנה ישירות לקובץ מידי כדי לראות את התווים המדויקים בתוכנת תווים.

• בדיקת איכות אלגוריתמים

  בחינת יכולות הדיוק של מודל התמלול של ByteDance על קטעי שמע שונים לצורכי מחקר ופיתוח מוזיקלי.

איפה זה נופל

הכלי מיועד אך ורק לפסנתר סולו, ואם תעלו שיר עם שירה, תופים או כלים נוספים, התוצאה תהיה בליל תווים שגוי ולא שמיש. איכות התמלול תלויה לחלוטין ברמת ההקלטה, כך שקטעים עם הד חזק, צליל עמום או רעשי רקע ייצרו זיופים או פספוסים של תווים מהירים. הדוגמאות בממשק עברו שמירה מראש במטמון, ולכן הן נטענות מיד ולא ממחישות את זמן ההמתנה שיידרש לקובץ כבד שלכם.

איך משתמשים

גוררים קובץ שמע לתיבת ההעלאה, או לוחצים על אחת הדוגמאות המוכנות, ולוחצים על כפתור transcribe. אין צורך לפתוח חשבון, להתחבר או להגדיר פרמטרים מסובכים. היישום רץ על מעבד גרפי ייעודי מסוג Zero A10G שמקצה משאבים בעת הבקשה, כך שהעיבוד מהיר מאוד, אם כי עומס זמני על השרתים עלול לגרום להמתנה קצרה בתור לפני תחילת הריצה.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד, שינוי שלו והפצה לצרכים אישיים או מסחריים. הקבצים שאתם מעלים מועברים לשרת לצורך העיבוד, וקובץ המידי שנוצר שייך לכם בכפוף לזכויות היוצרים של היצירה המקורית שהעליתם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗