music-flamingo

מה זה

אתם מספקים קובץ אודיו ישירות מהמחשב או מדביקים כתובת של סרטון יוטיוב, והמערכת מחלצת את הצליל לבד. מתחת מזינים שאלת טקסט חופשית על מה ששומעים, למשל על כלי הנגינה, המבנה או האווירה בקטע, ויש גם דוגמאות מובנות של שאילתות וקישורים כדי לראות איך זה עובד.

בצד הטכני רץ המודל nvidia/music-flamingo-2601-hf בעזרת MusicFlamingoForConditionalGeneration של transformers, יחד עם שימוש ברכיבי audio-flamingo ונתוני MF-Skills. התוצאה הסופית שמוחזרת למסך היא תשובת טקסט שמנתחת את האודיו בהתאם לפרומפט שכתבתם.

מתאים ל

• ניתוח כלי נגינה

  זיהוי הכלים הפעילים בקטע שמע או בסרטון יוטיוב באמצעות שאלת טקסט ממוקדת.

• תחקור מבנה מוזיקלי

  קבלת פירוט על שינויי קצב, סגנון ואווירה לאורך השיר ישירות לחלון הטקסט.

• בדיקת תוכן אודיו

  חילוץ תובנות מהירות על קובצי קול בלי להקשיב לכל ההקלטה מתחילתה ועד סופה.

איפה זה נופל

הכלי מחזיר טקסט בלבד ולא מייצר אודיו חזרה. אם הקישור ליוטיוב נחסם, נמחק או מוגבל גאוגרפית, חילוץ הצליל ייכשל עוד לפני שהמודל מתחיל לעבוד. בנוסף, מודלים של הבנת אודיו עלולים לפספס רבדים בהקלטות עמוסות או לזהות כלי נגינה שלא קיימים, ולכן אי אפשר להסתמך על התוצאות לניתוח מוזיקלי מקצועי בלי בדיקה ידנית של הקטע המקורי.

איך משתמשים

בוחרים קובץ קול או מקלידים קישור יוטיוב ולוחצים על כפתור הטעינה כדי לחלץ את האודיו. אחרי שהשמע נקלט והזנתם שאלה, לוחצים על Generate Answer וממתינים. זה רץ על חומרת zero-a10g שמקצה כוח עיבוד של A10G לפי דרישה, כך שאין צורך בהתקנות או בהגדרת שרת אבל זמני התגובה תלויים בעומס ובמשך הזמן שלוקח לטעון את הווידאו מיוטיוב.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינוי קוד כולל לצרכים מסחריים לפי תנאי הרישיון. הקוד עצמו מוריד קבצים מסרטוני יוטיוב לתיקייה זמנית בשרת לצורך העיבוד, כך שזכויות היוצרים על השירים עצמם שייכות ליוצריהם המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗