SenseVoiceSmall

מה זה

המודל הזה לוקח קבצי שמע וממיר אותם לטקסט, אבל במקום להסתפק במילים הוא מחלץ שכבת מידע נוספת. הוא מאומן על יותר מ־400,000 שעות שמע ותומך בלמעלה מ־50 שפות, עם התמקדות בסינית, קנטונזית, אנגלית, יפנית וקוריאנית. בנוסף לתמלול הוא מזהה את השפה המדוברת, סוגי רגש, ואירועי סאונד נפוצים כמו מחיאות כפיים, מוזיקת רקע, שיעול וצחוק.

השוני העיקרי מול פתרונות מקבילים כמו Whisper נובע מהארכיטקטורה. המודל בנוי במבנה שאינו אוטורגרסיבי, מה שחותך את זמני הריצה בצורה חדה. לפי הבדיקות של המפתחים, עיבוד של 10 שניות אודיו לוקח 70 אלפיות השנייה בלבד, קצב שמהיר פי 5 מ־Whisper-Small ופי 15 מ־Whisper-Large. במבחני זיהוי דיבור על מאגרי מידע מוכרים הוא עוקף את המתחרים בעיקר בשפות אסייתיות, ובמבחני רגש הוא הציג ביצועים גבוהים יותר ממודלים ייעודיים לתחום.

מתאים ל

• בוטים קוליים בזמן אמת

  זמן עיבוד של 70 אלפיות השנייה לעשר שניות מאפשר שיחה רציפה בלי שיהוקים.

• ניתוח שיחות במוקדי שירות

  זיהוי כעס או בכי לצד הטקסט נותן תמונת מצב מיידית על שביעות רצון.

• הפעלה במכשירי קצה ללא GPU

  תמיכה ב־GGUF מאפשרת לרוץ ישירות על מעבד פשוט עם מעט מאוד זיכרון.

איפה זה נופל

הנקודה הקריטית ביותר היא שאין שום נתונים על תמיכה בעברית. המודל מצהיר על מעל 50 שפות אך מדגיש אנגלית ושפות מזרח אסיה, כך שבלי בדיקה מעשית על קבצים מקומיים אי אפשר להסתמך עליו בארץ. חולשה נוספת נוגעת לזיהוי אירועי קול סביבתיים כלליים. המפתחים עצמם מודים שבמבחן ESC-50 המודל נופל ממערכות ייעודיות כמו BEATS, מכיוון שהוא אומן אך ורק על הקלטות דיבור ולא על מאגרי סאונד מגוונים.

איך מריצים

המודל שוקל 900 מגה בייט בלבד, כך שלא חובה להחזיק כרטיסי מסך יקרים כדי לעבוד איתו. אפשר להריץ אותו על GPU מקומי דרך ספריית funasr בפייתון, לייצא אותו ל־ONNX או libtorch, ואפילו להריץ קובץ בינארי בודד דרך llama.cpp או פורמט GGUF על גבי מעבד רגיל בלי להתקין סביבת פייתון בכלל.

אם הקבצים שלכם ארוכים מ־30 שניות, חובה לשלב מודל VAD שחותך את האודיו למקטעים קצרים, והקוד מספק תמיכה מובנית בפיצול הזה. שירותי ענן בתשלום יהיו רלוונטיים רק אם אתם לא רוצים לנהל שום תשתית או שאין לכם צורך במהירות עיבוד מקומית.

pip install -U huggingface_hub
hf download FunAudioLLM/SenseVoiceSmall

הקבצים

29 קבצים במאגר, 900 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.pt936.3 MB
• image/sensevoice2.png2.1 MB
• image/webui.png1.6 MB
• image/inference.png957.7 KB
• image/sensevoice.png900.9 KB
• chn_jpn_yue_eng_ko_spectok.bpe.model377.3 KB
• image/ser_table.png325.8 KB
• image/asr_results.png243.9 KB
• image/ser_figure.png198.9 KB
• image/wechat.png191.2 KB
• image/aed_figure.png118.7 KB
• image/dingding_sv.png117.0 KB
• image/dingding_funasr.png108.9 KB
• image/asr_results1.png81.9 KB
• image/asr_results2.png75.3 KB
• example/ja.mp357.8 KB
• example/en.mp357.4 KB
• example/zh.mp345.0 KB
• example/yue.mp331.2 KB
• example/ko.mp327.9 KB
• README_ja.md15.2 KB
• README.md12.0 KB
• am.mvn11.2 KB
• README_zh.md9.6 KB
• config.yaml1.9 KB
• .gitattributes1.6 KB
• demo.py612 B
• configuration.json396 B
• requirements.txt96 B

הרישיון

הרישיון מוגדר כ־other ולא כרישיון קוד פתוח סטנדרטי כמו MIT או אפאצ׳י. זה אומר שחובה להיכנס למאגר הגיטהאב של FunASR ולקרוא את תנאי השימוש המדויקים לפני שמשלבים אותו במוצר מסחרי, כדי לא להסתבך בהפרת זכויות יוצרים של היוצרים.

הרישיון המלא בעמוד המודל ↗