Music-Descriptor
רץ בדפדפןm-a-pcc-by-nc-4.02023-05-26
הכלי מנתח קטעי מוזיקה ומחלץ מהם תגיות של ז'אנר, כלי נגינה ומצב רוח. הוא מיועד לחוקרי אודיו ומפתחים שרוצים לבחון מודלים של הבנת מוזיקה בלי לכתוב קוד.
- —הורדות בחודש
- 45לייקים
מה זה
מעלים קובץ קול או מקליטים ישירות מהמיקרופון, ומקבלים טבלת נתונים שמפרטת סיווגים מוזיקליים שונים. הפלט מציג חיזויים במגוון משימות מוגדרות מראש, כולל זיהוי כלי נגינה מתוך מאגרי MTG ו־NSynth, סיווג ז'אנרים, איתור מצב רוח והבחנה בטכניקות שירה מתוך VocalSet. בממשק יש גם דוגמאות מוכנות מראש שאפשר להריץ בלחיצה כדי לראות איך המערכת ממלאת את הטבלה.
מאחורי הקלעים רץ המודל MERT-v1-95M שמשמש בסיס לייצוג אודיו, יחד עם חילוץ מאפיינים דרך Wav2Vec2FeatureExtractor וראשי חיזוי ייעודיים כמו MLPProberBase שנבנו על גביו. המודל מתרגם את גלי הקול לייצוגים וקטוריים כלליים, ואז מפענח מתוכם את המאפיינים המוזיקליים הספציפיים. הקוד כולל תמיכה גם בהזרמת אודיו חיה לצד ניתוח קבצים סטטיים.
מתאים ל
- סיווג ז'אנר ומצב רוח
זיהוי מהיר של סגנון מוזיקלי ותחושה כללית מתוך קטע שמע קצר של עד שלושים שניות.
- זיהוי כלי נגינה
חילוץ רשימת הכלים המשתתפים בהקלטה על בסיס מודלי סיווג של MTG ו־NSynth.
- בדיקת ביצועי מודל MERT
בחינת יכולות המודל והפרוברים שלו על דגימות קול לפני שמשלבים אותם בקוד עצמאי.
איפה זה נופל
המגבלה הכי בולטת היא החומרה החלשה שגורמת לשגיאות ברגע שמעלים קבצים ארוכים מחצי דקה. חוץ מזה, מקבלים רק טבלת סיווגים נוקשה שמבוססת על משימות אימון ספציפיות, בלי שום ניתוח חופשי, פירוק לרצועות או הסברים מילוליים. הביצועים כאן איטיים בהרבה ממה שהמודל מסוגל לספק בסביבת ייצור עם מעבד גרפי.
שאלות
נפוצות
האם השימוש בהדגמה כרוך בתשלום?
הגישה פתוחה לחלוטין בדפדפן ללא תשלום וללא צורך בהרשמה. עם זאת, השימוש המסחרי אסור בגלל תנאי רישיון הקוד הפתוח שבו היא שוחררה.
מה קורה לקבצי האודיו שמעלים?
הקבצים נשלחים ישירות לשרת שמארח את הממשק, מעובדים בזיכרון דרך torchaudio ומוזנים למודל. הם לא נשמרים כמאגר ציבורי קבוע, אך הם רצים על תשתית ענן ציבורית ולכן עדיף לא להעלות חומרים רגישים.
כמה זמן לוקח לניתוח להסתיים?
ההרצה מבוצעת על שני מעבדים רגילים ללא האצת כרטיס מסך, ולכן קטע קצר לוקח כמה שניות טובות. אם תעלו קובץ באורך של יותר מחצי דקה, המערכת עלולה להיעצר ולהחזיר שגיאה בגלל עומס.
האם אפשר להריץ את הכלי על המחשב שלי?
אפשר לשכפל את המאגר באמצעות פקודת git מתאימה ולהפעיל אותו מקומית. אם יש לכם כרטיס מסך תואם, הקוד יזהה אותו אוטומטית וירוץ מהר בהרבה מההדגמה המקוונת.
במה הממשק שונה משימוש ישיר במודל?
הממשק מדגים רק שכבות חיזוי בסיסיות שיושבות מעל המודל ומחזיר טבלה מוכנה. שימוש ישיר בקוד פותח גישה לייצוגי הווקטורים המלאים של MERT ומאפשר לבנות משימות מותאמות אישית.
איך משתמשים
גוררים קובץ שמע בפורמט כמו WAV, MP3 או FLAC, או לוחצים על הקלטה מהמיקרופון, ומפעילים את הניתוח. אין צורך לפתוח חשבון או להירשם. ההדגמה רצה על גבי מעבד בסיסי עם 2 ליבות ו־16 גיגה זיכרון, ללא כרטיס גרפי, ולכן עיבוד קבצים ארוכים נמשך זמן ועלול לקרוס. היוצרים ממליצים להעלות קטעים באורך של פחות משלושים שניות או להשתמש במצב החי כדי שההרצה תסתיים בהצלחה.
הרישיון
הפרויקט מופץ ברישיון cc-by-nc-4.0, שמתיר שימוש, שינוי ושיתוף של הקוד והמודל למטרות מחקר ושימוש אישי בלבד. שימוש מסחרי מכל סוג אסור תחת הרישיון הזה. הקבצים שאתם מעלים מעובדים ישירות בסביבת ההרצה של האפליקציה.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא