music-flamingo-hf

מה זה

הארכיטקטורה מחברת מקודד אודיו ייעודי מבוסס Whisper למודל שפה מסוג Qwen2.5-7B דרך מתאם MLP פשוט. במקום לזהות רק ז'אנר או לתמלל מילים, המודל מאומן להבין תאוריה מוזיקלית, לזהות כלי נגינה, לנתח גוון צליל ולהסביר הקשר תרבותי על פני שירים מלאים. אימנו אותו בשיטות שרשרת חשיבה ולמידת חיזוק כדי שידע לפרק שאלות מורכבות על מוזיקה לשלבים.

בכרטיס מדווח שהמודל קבע תוצאות מובילות בלמעלה מעשרה מבחני ביצועים ציבוריים להבנת מוזיקה והסקה, כמו GTZAN, MMAU ו־MusicQA. בפועל, החידוש העיקרי מול מודלים רב־מודאליים אחרים בגודל שמונה מיליארד פרמטרים הוא ההתמקדות במוזיקה ולא בדיבור כללי, יחד עם היכולת לבלוע קטעי אודיו ארוכים מאוד ברצף.

מתאים ל

• ניתוח תאורטי של יצירות

  פירוק שיר למבנה, כלי נגינה, הרמוניה ושינויי קצב מתוך קובץ האודיו.

• מענה לשאלות על תוכן שירים

  בדיקת הקשר בין הטקסט המושר לבין האווירה המוזיקלית של היצירה.

• תיוג אוטומטי של קטלוג מוזיקה

  הפקת תיאורים טקסטואליים עשירים ומדויקים למאגרי שמע לצורכי מחקר.

איפה זה נופל

בתיעוד יש סתירה מפורשת לגבי אורך האודיו המרבי. במקום אחד מצוין שהקלט מוגבל לעשר דקות וכל מה שמעבר נחתך, ובמקום אחר רשום מקסימום של 20 דקות. בכל מקרה, העיבוד נעשה בחלונות קשיחים של שלושים שניות, מה שעלול לייצר בעיות ברציפות ההבנה של מעברים מוזיקליים עדינים.

בנוסף, הנתונים הרשמיים מציינים תמיכה בשפה האנגלית בלבד. אם תזינו מוזיקה בעברית או תשאלו עליה שאלות בעברית, סביר שתקבלו הזיות או חוסר הבנה מוחלט של הטקסט וההקשר. המודל גם מוגבל לטקסט יוצא בלבד ואינו מייצר מוזיקה.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־15.4 גיגה־בייט, ונבדק רשמית על כרטיסי A100 עם 80 גיגה זיכרון. כדי להריץ אותו מקומית באופן סביר תצטרכו כרטיס גרפי של אנבידיה עם 24 גיגה זיכרון לפחות. הקוד נתמך ישירות בספריית transformers, וכולל אפשרות לשימוש ב־Flash Attention 2 או הרצה מואצת דרך torch.compile, כאשר השניים אינם עובדים ביחד.

אם אין לכם שרת ייעודי עם חומרה ברמה הזו, שווה לשקול הרצה מנוהלת בענן או מודל שירות מרוחק. בנוסף, מפתח המודל כבר פרסם גרסה חדשה וחזקה יותר בשם music-flamingo-2601-hf, כך שלפני שמתחילים להוריד שווה לבדוק אם לא עדיף ללכת ישירות על הגרסה העדכנית.

from transformers import pipeline

pipe = pipeline("audio-text-to-text", model="nvidia/music-flamingo-hf")
print(pipe("שלום"))

הקבצים

20 קבצים במאגר, 15.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.7 GB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• static/mf_main.png872.6 KB
• static/mf_logo.png257.4 KB
• model.safetensors.index.json74.5 KB
• static/NVIDIA-OneWay-Noncommercial-License_22Mar2022-academic.docx20.7 KB
• README.md15.8 KB
• tokenizer_config.json6.0 KB
• config.json2.1 KB
• .gitattributes1.7 KB
• added_tokens.json762 B
• special_tokens_map.json743 B
• chat_template.jinja703 B
• processor_config.json494 B
• generation_config.json147 B

הרישיון

הרישיון מוגדר תחת תנאי שימוש לא מסחריים של אנבידיה, עם מגבלות נוספות שנגזרות מחלקי דאטה של Qwen ו־OpenAI. השימוש מותר אך ורק למחקר. אם אתם בונים מוצר מסחרי, תוכנה בתשלום או פיצ'ר לעסק, אסור לכם להשתמש במודל הזה.

הרישיון המלא בעמוד המודל ↗