MOSS-Audio-4B-Instruct

מה זה

הארכיטקטורה משלבת מקודד שמע ייעודי שפועל ב־12.5 הרץ יחד עם מודל שפה מסוג Qwen3-4B. במקום להסתפק בהעברת המידע רק מהשכבה האחרונה, מנגנון הזרקה רב-שכבתי מעביר מאפיינים מוקדמים ישירות לשכבות הראשונות של מודל השפה. התוצאה היא שמירה טובה יותר על תכונות אקוסטיות נמוכות כמו גוון קול, קצב ורעשי רקע.

בנוסף לתמלול רגיל, שולבו טוקנים של זמן בתוך ייצוג השמע, מה שמאפשר לו להחזיר חותמות זמן ברמת המילה והמשפט. במבחני הדיוק הכלליים של הבנת שמע הוא מגיע לציון ממוצע של 64.04, ועוקף מודלים פתוחים של 7 מיליארד פרמטרים. במבחני הצמדת חותמות זמן באנגלית הוא מציג שגיאה של 358.13 AAS, לעומת 646.95 של Qwen3-Omni בגודל 30 מיליארד פרמטרים ו־871.19 של Gemini-3.1-Pro.

מתאים ל

• סנכרון כתוביות לסרטונים

  המודל מדייק בהצמדת חותמות זמן למילים באנגלית ובסינית, מה שמתאים ליצירת קובצי כתוביות מדויקים בזמן קצר.

• ניתוח רגש במוקדי שירות

  הוא מזהה רגש, טון דיבור, מגדר וגיל ברמת דיוק גבוהה, ועוזר לאפיין שיחות שירות מוקלטות מעבר לטקסט היבש.

• תיוג סאונד ואפקטים

  זיהוי צלילי רקע וסביבה מאפשר לקטלג ספריות אודיו וקטעי מוזיקה לפי כלי נגינה, קצב ואווירה.

איפה זה נופל

המודל מוגבל רשמית לאנגלית ולסינית בלבד, כך שאין טעם לנסות להריץ עליו אודיו בעברית. לפי תוצאות התמלול, רמת הדיוק שלו צונחת משמעותית בדיאלקטים עם ציון שגיאה של 14.65, ובשירה עם שגיאה של 18.47. גם במצבי ריבוי דוברים שגיאת התמלול עומדת על 20.33, מה שהופך אותו לבעייתי עבור הקלטות של פגישות מרובות משתתפים.

אותה משפחה

MOSS-Audio יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 9.7 גיגה-בייט, כך שאפשר להריץ אותו מקומית על כרטיס מסך יחיד עם 16 גיגה זיכרון וידאו, אם כי לסביבת ייצור עדיף כרטיס עם 24 גיגה כמו RTX 3090 או 4090 כדי לקבל מרווח נשימה לשמע ארוך. סביבת הריצה מבוססת על פייתון 3.12 עם חבילת ffmpeg 7 ותמיכה אופציונלית ב־FlashAttention 2 לשיפור ביצועים.

אם אתם צריכים לשרת בקשות בקצב גבוה, יש תמיכה ישירה בשרת SGLang עם trust-remote-code. למי שאין תשתית מקומית זמינה או שרוצה שרשרת חשיבה מעמיקה במקום תגובה ישירה, מודל ה־Thinking של הסדרה או מודלי ענן מסחריים יתאימו יותר.

pip install -U huggingface_hub
hf download OpenMOSS-Team/MOSS-Audio-4B-Instruct

הקבצים

29 קבצים במאגר, 9.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00003.safetensors5.0 GB
• model-00002-of-00003.safetensors4.7 GB
• model-00003-of-00003.safetensors777.9 MB
• vocab.json3.4 MB
• assets/moss-audio-image.png2.5 MB
• assets/moss-audio-architecture.svg1.7 MB
• merges.txt1.7 MB
• assets/moss-audio-2.png1.4 MB
• assets/arc.png978.3 KB
• assets/moss-audio-logo.png574.1 KB
• assets/speech_caption_radar.png406.9 KB
• assets/general_audio_bar.png167.9 KB
• assets/general_audio_bar.svg86.7 KB
• model.safetensors.index.json80.0 KB
• assets/speech_caption_radar.svg65.0 KB
• assets/OpenMOSS_Logo.png31.9 KB
• assets/mosi-logo.png25.2 KB
• README.md23.8 KB
• processing_moss_audio.py13.7 KB
• assets/wechat.jpg11.1 KB
• tokenizer_config.json5.4 KB
• chat_template.jinja4.1 KB
• config.json2.7 KB
• .gitattributes1.9 KB
• configuration_moss_audio.py1.0 KB
• added_tokens.json707 B
• special_tokens_map.json613 B
• processor_config.json426 B
• generation_config.json121 B

הרישיון

הרישיון הוא Apache 2.0, מה שמאפשר שימוש חופשי לחלוטין לפיתוח מסחרי ופרטי. מותר לשנות את הקוד והמשקלים, להטמיע אותם בתוך מוצרים סגורים ולהפיץ אותם, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗