audio-flamingo-3-hf

מה זה

הארכיטקטורה משלבת את מקודד AF-Whisper עם המודל Qwen2.5-7B דרך מתאם מבוסס MLP. במקום להסתפק בתמלול מילים רגיל, הוא קולט קובצי אודיו שלמים ומסוגל לענות על שאלות שמערבות צלילי סביבה, זיהוי כלי נגינה או ניתוח שיחה שלמה עד אורך של 10 דקות.

הוא שונה ממודלי שמע פשוטים בכך שהוא תומך בשרשרת חשיבה לפי דרישה ומעבד חלונות של 30 שניות עד למגבלת הקלט הכוללת. התוצאות מראות שיפור על פני 20 מבחני ביצועים של הבנת קול והסקה לוגית מסאונד, מה שאומר שהוא מתמודד טוב יותר מהקיים עם שאלות מורכבות על מה שמתרחש בהקלטה.

מתאים ל

• תחקור הקלטות ארוכות באנגלית

  קליטה של עד עשר דקות שמע ברצף ומענה על שאלות מורכבות לגבי הנאמר.

• ניתוח מוזיקה וצלילי סביבה

  זיהוי כלי נגינה, אירועים קוליים ורעשי רקע שלא קשורים למלל מדובר.

• מחקר אקדמי בהסקה קולית

  הפעלת שרשרת חשיבה להבנת אירועים מורכבים בתוך קובצי סאונד.

איפה זה נופל

הקלט מוגבל ל־10 דקות וכל מה שמעבר נחתך מיד. פלט הטקסט נעצר ב־1024 טוקנים, כך שהוא לא מתאים להפקת תמלולים ארוכים מאוד ברצף. בנוסף, מודל התמלול מדביק לפעמים משפטי פתיחה קבועים לתשובה, והשפה היחידה שמוגדרת בכרטיס היא אנגלית, בלי שום עדות לתמיכה בעברית.

אותה משפחה

audio-flamingo-3 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

32.1 גיגה בייט של משקלים אומרים שצריך כרטיס מקצועי, כשבתיעוד מצוינים רשמית רק A100 ו־H100 על לינוקס. כדי להריץ אותו בקצב שפוי כדאי להשתמש ב־vLLM שמקצר את זמן התגובה פי 5 עד 7, או להפעיל Flash Attention 2 ו־torch.compile אם אתם נשארים בתוך Transformers.

אם אין לכם גישה לשרת עם כרטיס של 40 או 80 גיגה זיכרון, עדיף להשתמש ב־API מנוהל שמחזיק מודלי שפה ואודיו. פריסה מקומית של המודל הזה כבדה מדי לחומרה שולחנית רגילה.

from transformers import pipeline

pipe = pipeline("audio-text-to-text", model="nvidia/audio-flamingo-3-hf")
print(pipe("שלום"))

הקבצים

27 קבצים במאגר, 32.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors16.5 GB
• model-00002-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.7 GB
• think/non_lora_trainables.bin1.1 GB
• think/adapter_model.safetensors323.0 MB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• static/logo-no-bg.png464.2 KB
• static/af3_sota.png266.2 KB
• static/af3_main_diagram-1.png229.1 KB
• static/af3_radial-1.png144.9 KB
• model.safetensors.index.json74.5 KB
• README.md25.8 KB
• static/NVIDIA_OneWay_Noncommercial_License.docx20.6 KB
• think/config.json10.5 KB
• think/adapter_config.json4.1 KB
• config.json2.1 KB
• .gitattributes1.8 KB
• tokenizer_config.json789 B
• added_tokens.json762 B
• special_tokens_map.json743 B
• chat_template.jinja703 B
• processor_config.json494 B
• generation_config.json145 B

הרישיון

הרישיון הוא NVIDIA OneWay Noncommercial שמגביל את השימוש למחקר בלבד. אסור לשלב אותו בשום מוצר מסחרי, שירות בתשלום או אפליקציה שמניבה רווח, וקיימת גם כפיפות לתנאי הרישיון של Qwen ו־OpenAI.

הרישיון המלא בעמוד המודל ↗