LP-Music-Caps-demo

מה זה

מזינים קובץ אודיו ישירות לנגן או בוחרים מתוך רשימת הדוגמאות המוכנות מראש. בתמורה מקבלים תיבת טקסט עם תיאור מילולי של הקטע, שנכתב באמצעות המודל הייעודי seungheondoh/lp-music-caps בשילוב facebook/bart-base.

מאחורי הקלעים הקוד טוען את קובץ הקול בעזרת כלי עיבוד אודיו, ממיר אותו למבנה נתונים מתאים ומזין אותו למודל שפה שמייצר את הכיתוב. הדגמה זו מתבססת על הדאטהסט seungheondoh/LP-MusicCaps-MC, כך שהיא מנסה לחלץ מאפיינים מוזיקליים, אווירה וכלים, ולהפוך אותם למשפט קריא באנגלית.

מתאים ל

• בדיקת תיוג לקטלוג מוזיקה

  אפשר להעלות סקיצות כדי לראות איזה תיאור אווירה וסגנון המודל מזהה בהן באופן אוטומטי.

• יצירת פרומפטים להרחבה

  מקבלים תיאור מילולי של קטע שמע קיים כדי להשתמש בו מחדש במודלים אחרים של יצירה.

• הערכת ביצועי מודל המחקר

  בודקים במהירות על דוגמאות שונות איך המודל מתמודד עם ז'אנרים מוזיקליים מגוונים.

איפה זה נופל

ההדגמה מוגבלת לשמע בלבד ומחזירה רק טקסט באנגלית, בלי תמיכה בעברית או תיוגים מורכבים. היא לא מפרקת את המוזיקה לערוצים ולא מבודדת כלי נגינה, אלא רק מנחשת תיאור כללי. בנוסף, הרצה על מעבד רגיל אינה משקפת את המהירות האמיתית שתוכלו להשיג על חומרה ייעודית עם כרטיס מסך.

איך משתמשים

לוחצים על כפתור ההעלאה, בוחרים קובץ מוזיקה מהמחשב ולוחצים על submit. אין צורך בהרשמה או התחברות לחשבון, והכול זמין מיד בדפדפן. מאחר שההדגמה רצה על חומרת cpu-basic בסיסית, העיבוד עלול לקחת כמה עשרות שניות לכל קטע, בייחוד אם השרת עמוס בפניות של משתמשים אחרים באותו רגע.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי כולל שינוי והפצה. קובצי השמע שאתם מעלים עוברים דרך השרת לצורך העיבוד, ולכן לא מומלץ להעלות חומרים רגישים שטרם פורסמו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗