VibeVoice-ASR-BitNet

מה זה

מייקרוסופט לקחו את מודל התמלול שלהם וכיווצו אותו לנפח עבודה של 1.58 ג'יגה בייט באמצעות קוונטיזציה אגרסיבית של BitNet ו־ggml. המבנה מפוצל למקודד של 0.65 ג'יגה בייט ולמפענח שפה של 0.92 ג'יגה בייט. השילוב הזה נותן מהירות עבודה גבוהה פי 1.6 עד 2.3 ביחס ל־Whisper.cpp, כשהוא יורד מפקטור זמן אמת של 1 כבר בשלושה תהליכוני מעבד.

במבחני דיוק הוא עוקף את וויספר בחלק מהמשימות באנגלית, כמו מבחני AMI לשיחות מרובות משתתפים שבהם הוא רושם 21.36 אחוזי שגיאה מול 27.07 של וויספר. מצד שני, במבחנים קלאסיים ונקיים כמו LibriSpeech הוא מפגר אחריו ומגיע ל־2.41 אחוזים לעומת 1.98. הפשרות מורגשות בעיקר באודיו מורכב בסינית, שם הדחיסה פגעה בו ורשמה 27.45 אחוזי שגיאה לעומת 19.83 במודל המקורי.

מתאים ל

• תמלול שיחות על מחשב נייד

  הוא מנצל מעט זיכרון ורץ על מעבד פשוט בלי צורך בחומרת שרת כבדה.

• מכשירי IoT חכמים

  התאמה למעבדי ARM מאפשרת להריץ זיהוי פקודות קוליות מקומית לגמרי.

• תמלול שיעורים באנגלית

  הדיוק שלו באנגלית טבעית עוקף את וויספר בחלק ניכר מבדיקות ההקלטה.

איפה זה נופל

הבעיה המרכזית לקורא המקומי היא היעדר מוחלט של עברית. המודל תומך באנגלית, סינית, צרפתית, איטלקית, קוריאנית, פורטוגזית ווייטנאמית בלבד, כך שלמוצר מקומי אין מה לחפש כאן. בנוסף, הקוונטיזציה הקיצונית יוצרת פער ניכר לעומת גרסת הבסיס בהקלטות מרובות דוברים, כפי שרואים במבחן AliMeeting שמזנק ל־40.58 אחוזי שגיאה.

איך מריצים

אין שום צורך ב־GPU. המודל מיועד להרצה על מעבדי x86 עם תמיכת AVX2 או מעבדי ARM עם NEON באמצעות הקוד של VibeASR.cpp. כל מה שצריך כדי לתמלל בזמן אמת הוא מעבד מודרני מרובע ליבות, כיוון שבארבעה תהליכונים הוא כבר מגיע לזמן עיבוד של 0.63 משך האודיו.

אם המוצר שלכם מעבד שעות של הקלטות ברקע על שרת ענן חזק, אין סיבה להסתבך עם ההרצה הזו ועדיף לשלוח בקשה ל־API רגיל. המודל הזה משתלם רק אם אתם חייבים לחסוך עלויות שרתים יקרות או מחפשים לרוץ ישירות על חומרת קצה.

ollama run hf.co/microsoft/VibeVoice-ASR-BitNet:Q6_K

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

14 קבצים במאגר, 12.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00003.safetensors5.0 GB
• model-00002-of-00003.safetensors5.0 GB
• model-00003-of-00003.safetensors1.3 GB
• vibeasr-lm-i2_s-embed-q6_k.gguf992.9 MB
• vibeasr-vae-encoder-i8_s.gguf703.1 MB
• tokenizer.json7.0 MB
• vocab.json2.8 MB
• figures/report_overview.png223.1 KB
• model.safetensors.index.json120.2 KB
• README.md4.1 KB
• config.json3.5 KB
• tokenizer_config.json1.3 KB
• .gitattributes306 B
• generation_config.json138 B

הרישיון

הפרויקט מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצר סגור ולהפיץ אותו חופשי, כל עוד שומרים על הודעת זכויות היוצרים של מייקרוסופט.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗