MOSS-Audio-4B-Thinking

מה זה

בבסיס יושב שילוב בין מקודד אודיו ייעודי שרץ ב־12.5 הרץ לבין שלד שפה של Qwen3-4B. המבנה מזריק תכונות משכבות מוקדמות של המקודד ישירות לשכבות השפה, ומשלב טוקנים של זמן בין הפריימים כדי להבין מה קרה ומתי. זה מאפשר לו להוציא תמלול עם זמנים מדויקים ברמת המילה והמשפט, לזהות רגשות ודוברים, ולנתח אירועים קוליים.

גרסת ה־Thinking מוסיפה חשיבה מרובת שלבים באודיו על בסיס אימון בחיזוקים. במבחני הבנה כללית הוא מציג דיוק ממוצע של 68.37 נקודות, גבוה מכל מודלי ה־7B הפתוחים שנבדקו בכרטיס. המשמעות היא שהוא תופס הקשרים מורכבים יותר משיחה רגילה, ולא רק פולט מילים שנאמרו.

מתאים ל

• תמלול שיחות עם חותמות זמן

  המודל מוציא סנכרון זמנים מדויק ברמת מילה ומשפט בשיחות באנגלית.

• ניתוח תוכן קולי מורכב

  מנגנון החשיבה מפרק שאלות מורכבות על הקלט ומזהה רגשות ודוברים לאורך זמן.

• זיהוי אירועי שמע ורקע

  המקודד שומר על מאפייני צליל נמוכים לזיהוי כלי נגינה, רעשי סביבה ומקצב.

איפה זה נופל

הנתונים והאימונים נשענים על אנגלית וסינית בלבד. אין שום תיעוד או בדיקה לתמיכה בעברית, ולכן פרויקטים מקומיים ייתקלו בתמלול שבור לחלוטין אלא אם המטרה היא ניתוח מוזיקה או צלילי סביבה ללא שפה. בנוסף, מנגנון החשיבה מאט משמעותית את המענה ביחס למודלי תמלול ישירים. במבחני תמלול נקיים מודלים ייעודיים קטנים יותר עדיין מובילים בדיוק הגולמי.

אותה משפחה

MOSS-Audio יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקלים תופסים 9.7 גיגה בייט, כך שכרטיס מסך בודד עם 16 או 24 גיגה זיכרון יריץ אותו בקלות. ההרצה המקומית נשענת על סביבת פייתון 3.12, ffmpeg 7 וגרסת פייטורץ' מותאמת עם תמיכה אופציונלית בפלאש אטנשן 2. למי שמקים שירות, הצוות הכין פיצול ייעודי של sglang שתומך בהגשה מהירה דרך שרת.

גרסת ה־Instruct מיועדת למענה ישיר ומהיר לפי פקודה, בעוד גרסת ה־Thinking מייצרת תהליך מחשבה לפני התשובה ולכן דורשת יותר זמן עיבוד לכל שאילתה. אם אתם צריכים תמלול פשוט בכמויות עצומות ללא צורך בהבנת רקע, שימוש ב־API ייעודי לתמלול יהיה זול ומהיר בהרבה מהחזקת שרת למודל חושב.

pip install -U huggingface_hub
hf download OpenMOSS-Team/MOSS-Audio-4B-Thinking

הקבצים

29 קבצים במאגר, 9.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00003.safetensors5.0 GB
• model-00002-of-00003.safetensors4.7 GB
• model-00003-of-00003.safetensors777.9 MB
• vocab.json3.4 MB
• assets/moss-audio-image.png2.5 MB
• assets/moss-audio-architecture.svg1.7 MB
• merges.txt1.7 MB
• assets/moss-audio-2.png1.4 MB
• assets/arc.png978.3 KB
• assets/moss-audio-logo.png574.1 KB
• assets/speech_caption_radar.png406.9 KB
• assets/general_audio_bar.png167.9 KB
• assets/general_audio_bar.svg86.7 KB
• model.safetensors.index.json80.1 KB
• assets/speech_caption_radar.svg65.0 KB
• assets/OpenMOSS_Logo.png31.9 KB
• assets/mosi-logo.png25.2 KB
• README.md23.8 KB
• processing_moss_audio.py13.7 KB
• assets/wechat.jpg11.1 KB
• tokenizer_config.json5.4 KB
• chat_template.jinja4.1 KB
• config.json2.7 KB
• .gitattributes1.9 KB
• configuration_moss_audio.py1.0 KB
• added_tokens.json707 B
• special_tokens_map.json613 B
• preprocessor_config.json427 B
• generation_config.json121 B

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהטמיע אותו במוצרים סגורים בלי לשלם תמלוגים, בתנאי שמשאירים את הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗