vibevoice-asr-bitnet-demo

מה זה

מעלים קובץ קול, מקליטים ישירות מהמיקרופון, או משתמשים במצב הכתבה מובנה. בתמורה מקבלים תמלול טקסטואלי ומדדי ריצה. המערכת כוללת דוגמאות מוכנות מראש מתוך LibriSpeech באנגלית ו־FLEURS בצרפתית ובמנדרינית.

מאחורי הקלעים רץ מודל VibeVoice-ASR-BitNet של מיקרוסופט. הארכיטקטורה משלבת טוקנייזר VAE שמכווץ לקוונטיזציית שמונה ביט, ומפענח BitNet המבוסס על Qwen2.5 בנפח של 1.5 מיליארד פרמטרים שפועל ב־1.58 ביט. גודל המשקלים הכולל מסתכם ב־1.58 גיגה-בייט בלבד.

אין כאן מימוש של פייתורץ' או שימוש ב־CUDA. ההרצה מתבצעת כולה דרך מנוע VibeASR.cpp שנבנה על בסיס ggml ומקומפל ישירות לתוך מעבד השרת כתהליך נפרד.

מתאים ל

• בדיקת תמלול באנגלית וצרפתית

  מתאים למי שרוצה להשוות איכות פענוח טקסט משמע בשפות נתמכות ישירות מהדפדפן.

• בחינת ביצועי מודל 1.58 ביט

  מאפשר לראות איך מודל שפה מקוונט במשקלים זעירים מתמודד עם זיהוי קולי על גבי מעבד.

• הכתבה ישירה מהדפדפן

  דיבור למיקרופון בעזרת רכיב ההכתבה כדי לקבל טקסט רציף בלי התקנת ספריות מקומיות.

איפה זה נופל

הכלי מוגבל לשבע שפות בלבד: אנגלית, סינית, צרפתית, איטלקית, קוריאנית, פורטוגזית ווייטנאמית. עברית לא נתמכת כאן בכלל. בנוסף, הקוד כולל מגבלת זמן ריצה מובנית, כך שקובצי אודיו כבדים יקרסו עם שגיאת פקיעת זמן במקום לחכות לסיום העיבוד.

איך משתמשים

בוחרים לשונית של קובץ או הכתבה, מזינים שמע ולוחצים על כפתור התמלול. למשתמשים מתקדמים יש אפשרות לשנות מספר תהליכונים, מילות מפתח, טמפרטורה, top_p או לבחור בפענוח חמדן. ההדגמה רצה על שרת עם שדרוג מעבד, ללא צורך בהתחברות. מכיוון שהחישוב נעשה במעבד בלבד, קטעים ארוכים מדי עלולים להיתקל בהודעת שגיאה על חריגה מזמן הריצה שהוקצב.

הרישיון

הפרויקט מופץ תחת רישיון MIT המתיר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. קובצי הקול מועלים לשרת שבו רץ הממשק לצורך העיבוד, ואין התחייבות לשמירה או מחיקה שלהם מעבר למנגנון הזמני של גרדיו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗