Nemotron-Labs-Audex-2B

מה זה

במקום לחבר כמה מערכות נפרדות לתמלול, חשיבה והקראה, המודל הזה מרכז הכל תחת ארכיטקטורה אחת צפופה בגודל של כשני מיליארד פרמטרים. הוא מבין אודיו, מתמלל, מתרגם, מייצר אפקטים קוליים ומקריא טקסט, תוך שמירה על יכולות טקסט של מודל שפה רגיל עם חלון הקשר שמגיע עד 128 אלף טוקנים.

הוא מציע שני מצבי עבודה, מצב חשיבה שבו הוא מפרט את תהליך הפתרון בתוך תגיות ייעודיות, ומצב הנחיות רגיל שפולט תשובה מיד. להבדיל מגרסת השלושים מיליארד באותה משפחה שעברה גם שלב חיזוק מתקדם, הגרסה הזו שוחררה אחרי אימון התאמה רב שלבי בלבד.

מתאים ל

• עוזר קולי מקומי מאוחד

  מאפשר שיחה משולבת אודיו וטקסט ברשת יחידה בלי להקים צינור עיבוד נפרד.

• תמלול ותרגום אנגלית

  רץ ביעילות על כרטיס מסך בודד ומספק תמלול ישיר של קובצי קול באנגלית.

• מחקר על מודלי קול מובנים

  מתאים לבדיקת יכולות חשיבה בתוך שמע על מודל פתוח שאינו דורש חוות שרתים.

איפה זה נופל

ההפעלה שלו רחוקה מלהיות נקייה. תבניות הפרומפט דורשות מניפולציות ידניות של תגיות חשיבה כדי לא לקלקל את הפלט, וההפרדה בין שמע לטקסט מחייבת התקנת תוספים ייעודיים או חיתוך טוקנים ידני כדי שמילים לא יתערבבו עם צלילים. בנוסף, המודל אומן ונבדק באנגלית בלבד, כך שאינו מתאים לעבודה בעברית ללא אימון נוסף. החיסרון המשמעותי מול הגרסה הגדולה הוא היעדר שלב הלמידה מחיזוקים, מה שמורגש באיכות התוצאה במשימות מורכבות.

אותה משפחה

Nemotron-Labs-Audex יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו תצטרכו כרטיס מסך בודד עם לפחות 16 עד 24 גיגה זיכרון גרפי, בהתחשב בכך שמשקל הקבצים לבדו תופס 11.4 גיגה. nvidia מספקת תמיכה דרך vLLM או ספריית transformers, אבל היא דורשת תוסף ייעודי של החברה לצד קודקים חיצוניים כמו XCodec כדי לחלץ את האודיו בפועל.

אם כל מה שאתם צריכים זה רק תמלול או הקראת טקסט בסיסית, חבל על ההתעסקות בהרצה עצמית. ההתקנה של שרשרת הקידוד המלאה מסורבלת, ובמקרים כאלה עדיף לפנות לפתרון API ייעודי במקום לתחזק את כל המעטפת.

from transformers import pipeline

pipe = pipeline("text-generation", model="nvidia/Nemotron-Labs-Audex-2B")
print(pipe("שלום"))

הקבצים

106 קבצים במאגר, 11.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• checkpoint_folder_full/model-00001-of-00002.safetensors4.5 GB
• enhancement_VAE/XCodec_RVQ4_mono_causal_fp32.safetensors2.6 GB
• audex_causal_speech_decoder/model.safetensors2.5 GB
• checkpoint_folder_full/model-00002-of-00002.safetensors1.3 GB
• nv-whisper/model.safetensors1.3 GB
• checkpoint_folder_audiogen/tokenizer.json34.2 MB
• checkpoint_folder_full/tokenizer.json34.2 MB
• checkpoint_folder_textonly/tokenizer.json17.1 MB
• checkpoint_folder_full/tokenizer_config.json13.9 MB
• checkpoint_folder_audiogen/tokenizer_config.json13.9 MB
• nv-whisper/tokenizer.json7.0 MB
• nv-whisper/vocab.json2.8 MB
• nv-whisper/merges.txt1.7 MB
• nv-whisper/tokenizer_config.json638.3 KB
• assets/main.png402.5 KB
• assets/template.png357.0 KB
• assets/result_s2s.png231.9 KB
• assets/result_multilingual.png208.4 KB
• assets/result_text.png197.5 KB
• checkpoint_folder_textonly/tokenizer_config.json177.2 KB
• assets/result_tta.png148.0 KB
• assets/training.png146.2 KB
• assets/result_openasr.png117.8 KB
• assets/result_noisyasr.png107.0 KB
• assets/result_audioqa.png102.1 KB
• assets/architecture.png99.7 KB
• assets/result_tts.png66.3 KB
• checkpoint_folder_full/model.safetensors.index.json61.3 KB
• inference_scripts_vllm/unified_s2s_scripts/cascaded_s2s_web_server.py41.6 KB
• inference_scripts_vllm/audiogen_scripts/run_audio_gen_vllm_rvq_logit_mask.py41.1 KB
• inference_scripts_vllm/audiogen_scripts/run_audio_gen_vllm.py36.9 KB
• nv-whisper/model.safetensors.index.json28.3 KB
• enhancement_VAE/enhancement_vae.py21.9 KB
• license/NVIDIA-OneWay-Noncommercial-License.docx20.5 KB
• audex_causal_speech_decoder/modeling_audex_causal_speech_decoder.py19.1 KB
• checkpoint_folder_audiogen/model.safetensors.index.json18.8 KB
• checkpoint_folder_textonly/model.safetensors.index.json18.8 KB
• inference_scripts_vllm/unified_s2s_scripts/web/app.js15.1 KB
• nemotron_dense_vllm_plugin/nemotron_dense_vllm/nemotron_dense.py15.0 KB
• checkpoint_folder_full/modeling_nemotron_dense.py14.0 KB

הרישיון

השימוש כפוף לרישיון NVIDIA OneWay Noncommercial. הרישיון אוסר שימוש מסחרי מכל סוג ומיועד למחקר ולניסויים בלבד. אם אתם בונים מוצר שמיועד ללקוחות משלמים או לשירות עסקי פעיל, אסור להשתמש במודל הזה.

הרישיון המלא בעמוד המודל ↗