audio-flamingo-2 — הדגמה

קוד פתוח

nvidiaother2025-02-08

gradio

nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.

הכלי מנתח קבצי שמע ומשיב בטקסט לשאלות פתוחות או אמריקאיות לגביהם. הוא מיועד למי שרוצה לבדוק יכולות הבנת סאונד מורכבות בלי לכתוב שורת קוד.

41.3 GBמשקל הקבצים
—הורדות בחודש
37לייקים

מה זה

אתם מעלים קובץ קול ומקלידים שאלה בתיבת הטקסט, כברירת מחדל היא מוגדרת לתיאור כללי של הסאונד. בתמורה המערכת פולטת תשובה כתובה שמנתחת את מה שנשמע בקובץ. הדוגמאות המוכנות כוללות שאלות על זיהוי סביבה קולית, סיכום של קטע מוזיקלי במשפט אחד, ומענה על שאלת ברירה מרובה לגבי רעשים ספציפיים כמו מסוקים או פטפוטים.

מאחורי הקלעים רץ שילוב מורכב של מודלים. הקוד משתמש בארכיטקטורה של פלמינגו שמשלבת מודלים כמו whisper של openai לתמלול שמע, laion_clap לזיהוי קטעי קול, ומודלי שפה ממשפחת bart ו־opt של פייסבוק לצד המודל של אנבידיה עצמה.

מתאים ל

זיהוי סביבה קולית
מעלים רעשי רקע ושואלים מהו הנוף הקולי כדי לקבל פירוט של רכיבי הסאונד.
סיכום קטעי מוזיקה
מזינים קטע נגינה ומבקשים תיאור תמציתי של התוכן המוזיקלי במשפט אחד.
מענה על שאלות אמריקאיות
בודקים הבחנה בין רעשים שונים על ידי הצגת שאלה מרובת אפשרויות.

איפה זה נופל

הבעיה המיידית היא שההדגמה מושהית כרגע ולא מגיבה. מעבר לזה, המודל מתמקד בניתוח צלילים וסביבה ולא ביצירת שמע חדש, כך שהוא לא מייצר מוזיקה או דיבור. הדוגמאות מציגות מקרים קצרים וספציפיים באנגלית, ואין מידע על התמודדות עם הקלטות ארוכות, קבצים באיכות ירודה או שאלות בעברית.

שאלות
נפוצות

האם האפליקציה זמינה עכשיו לשימוש?

לא. המצב שלה מוגדר כרגע כמושהה, כך שאי אפשר להריץ אותה ישירות בדפדפן עד שיפעילו אותה מחדש.

כמה עולה להשתמש בה?

השימוש בדמו הוא בחינם לגמרי. הקוד והמודל זמינים תחת רישיון פתוח של אפאצ'י בלי תשלום.

אפשר להריץ את זה על המחשב שלי?

כן, הקוד מבוסס על ספריות פייתון סטנדרטיות ורישיון חופשי. תצטרכו להוריד את המשקלים של אנבידיה ואת מודלי הבסיס ולדאוג לחומרה מתאימה.

האם הכלי מבין עברית?

אין תיעוד לתמיכה בעברית. כל הדוגמאות, הממשק ושאילתות הבסיס כתובים באנגלית בלבד.

איך מריצים

לוחצים על העלאת שמע, כותבים שאלה, או פשוט בוחרים באחת משלוש הדוגמאות הקיימות ולוחצים על שליחה. כרגע לא תצליחו להריץ אותה בדפדפן כי היא נמצאת במצב מושהה. גם כשהיא פעילה, היא יושבת על מעבד בסיסי בלי כרטיס גרפי קבוע, מה שאומר שהעיבוד של מודלים כאלה כבד ואיטי ביחס להרצה מקומית על חומרה ייעודית.

pip install -U huggingface_hub
hf download nvidia/audio-flamingo-2

הקבצים

15 קבצים במאגר, 41.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי והתאמה של הקוד. לגבי המידע שאתם מעלים, הוא עובר דרך השרת שמארח את האפליקציה.

הרישיון המלא בעמוד המודל ↗