audio-flamingo-next-hf

מה זה

מדובר במודל שפה ושמע בגודל של 8.3 מיליארד פרמטרים שפותח על בסיס מקודד שמע ממשפחת Whisper ומודל שפה ממשפחת Qwen2.5. הייחוד שלו לעומת גרסאות קודמות ולעומת מודלים סטנדרטיים ברמת הגודל הזו הוא היכולת לבלוע קטעי קול ארוכים של עד חצי שעה, תוך חלוקה פנימית למקטעים של שלושים שניות ושמירה על מיקום הזמן באמצעות מנגנון RoTE.

הוא מסוגל לתמלל שיחה מרובת דוברים, לתרגם דיבור, לזהות מבנה מוזיקלי, סגנון וכלי נגינה, ולענות על שאלות מורכבות על סמך אירועים שקרו בהקלטה. ההבדל המרכזי מול מה שהיה קיים עד כה הוא המעבר מאימון על מאגרי מעבדה מצומצמים למאות אלפי שעות וידאו מהרשת, מה שנותן לו יכולת התמודדות טובה יותר עם שמע מציאותי ומלוכלך.

מתאים ל

• תחקור הקלטות ממושכות

  מענה לשאלות ממוקדות מתוך שיחות או הרצאות של עד חצי שעה ללא צורך לחתוך את הקובץ.

• תמלול שיחה מרובת דוברים

  זיהוי דוברים שונים והפקת תמלול מסודר עם חלוקה ברורה לפי הוראה מתאימה בפרומפט.

• קטלוג וניתוח מוזיקה

  חילוץ מאפיינים מוזיקליים כמו סולם, מקצב, סגנון וכלי נגינה מתוך קובצי שמע.

איפה זה נופל

הכרטיס מודה בפירוש שאיסוף המידע מהאינטרנט השאיר פערים באיכות. ההבנה שלו בשפות בעלות מעט משאבים חלשה יחסית, והוא מתקשה לזהות אירועי קול נדירים. בנוסף, כשמזרימים אליו הקלטה ארוכה שבה המידע החשוב מפוזר בנקודות זמן רחוקות זו מזו, הקישור הלוגי בין הרמזים נוטה להישבר. יש לזכור גם שההערכה הרשמית שלו טרם כיסתה באופן מלא משימות מורכבות כמו הפרדת דוברים או כתוביות מתוזמנות היטב.

איך מריצים

המשקל הכולל של הקבצים עומד על 15.4 גיגהבייט. כדי להריץ אותו מקומית צריך כרטיס מסך מודרני עם לפחות 24 גיגהבייט זיכרון גרפי עבור דיוק מלא, או חומרה צנועה יותר אם מפעילים כימות לפורמט 4 ביט או 8 ביט. העיבוד דורש קודם כל המרה של האודיו למקור מונו בקצב דגימה של 16 קילוהרץ לפני שמעבירים אותו לפרוססור של transformers.

אם כל מה שאתם צריכים זה תמלול טהור באנגלית בלי שאלות הבנה ובלי צורך להבין מה קורה ברקע, חבל להעמיס שרת שלם. עבור משימות תמלול פשוטות מודל Whisper רגיל יעשה את העבודה בפחות משאבים, ועדיף להרים את המפלצת הזו רק כשצריך ממש לחקור את תוכן השמע, לשאול שאלות על אירועים קוליים או לחבר דיבור, מוזיקה ורעשי סביבה יחד.

from transformers import pipeline

pipe = pipeline("audio-text-to-text", model="nvidia/audio-flamingo-next-hf")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 15.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors16.5 GB
• tokenizer.json11.4 MB
• static/afnext_logo.webp56.2 KB
• static/NVIDIA OneWay Noncommercial License_22Mar2022 (academic).docx20.7 KB
• static/NVIDIA-OneWay-Noncommercial-License_22Mar2022-academic.docx20.7 KB
• README.md12.6 KB
• config.json2.4 KB
• .gitattributes1.6 KB
• chat_template.jinja1.1 KB
• processor_config.json544 B
• tokenizer_config.json510 B
• generation_config.json147 B

הרישיון

המודל שוחרר תחת רישיון NVIDIA OneWay Noncommercial, לצד תנאי השימוש של Qwen ושל OpenAI. בשורה התחתונה הוא מיועד למחקר בלבד, ואי אפשר לשלב אותו במוצר מסחרי, למכור גישה אליו או להשתמש בו לייצור רווחים ישירים בעסק.

הרישיון המלא בעמוד המודל ↗