VibeVoice-ASR-Streaming-7B

מה זה

מיקרוסופט שחררו מודל זיהוי דיבור שמטפל בשתי בעיות שמודלים רגילים מפרידים ביניהן: תמלול הטקסט ושיוך הדובר בזמן אמת. במקום לתמלל הכל לגוש אחד ואז להריץ מודל דיאריזציה נפרד שגוזל זמן, הוא פולט מי אמר מה תוך כדי שהאודיו מגיע.

בנוסף, יש בו תמיכה במילות מפתח מותאמות אישית. אם האפליקציה שלכם משתמשת בשמות של מוצרים, שמות אנשים או מונחים טכניים נדירים, אפשר להזין אותם מראש כדי שהמודל לא ימציא מילים דומות. הוא תומך בעשר שפות, בהן אנגלית, סינית, צרפתית, גרמנית, ספרדית ועוד כמה שפות מרכזיות.

מתאים ל

• תמלול שיחות ועידה רב-משתתפים

  מזהה מי אמר מה בזמן אמת בשיחות באנגלית או שפות נתמכות אחרות, בלי מודל דיאריזציה חיצוני.

• מוקדי שירות לקוחות

  מפריד אוטומטית בין הנציג ללקוח בשידור חי ומזהה שמות מוצרים בעזרת מילות מפתח מוגדרות מראש.

• כתוביות חיות לשידורים

  מייצר טקסט עם שיוך לדובר ברצף ישר מהמיקרופון, מתאים לשידורים חיים מרובי משתתפים.

איפה זה נופל

החיסרון הברור ביותר לישראלים הוא היעדר עברית. רשימת השפות כוללת עשר שפות בלבד, ורובן אירופיות או אסייתיות, כך שאין מה לבנות עליו לפרויקטים מקומיים. מעבר לזה, הכרטיס לא מציג נתוני ביצועים מפורטים בטקסט אלא מפנה לתמונות ולמאמר, ולכן אי אפשר לדעת מה ההשהיה המדויקת באלפיות שנייה לפני שבודקים בפועל.

אותה משפחה

VibeVoice-ASR-Streaming יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

עם שמונה נקודה שבעה מיליארד פרמטרים ומשקל קבצים של 16.2 גיגה-בייט, אתם צריכים כרטיס מסך רציני עם לפחות 24 גיגה-בייט זיכרון כדי להריץ אותו בלי לחנוק את המערכת, במיוחד אם רוצים לשמור על השהיה נמוכה בסטרימינג. הוא רץ דרך ספריית transformers ומשתמש בארכיטקטורה ייעודית של מיקרוסופט.

אם אתם לא צריכים שיוך דוברים חי או הזרמה של אודיו ברציפות, להרים שרת GPU ייעודי בשבילו זה יקר ומיותר. במקרים של תמלול קבצים מוקלטים מראש, שימוש ב־API חיצוני של שירות קיים כנראה יעלה לכם פחות כסף וכאב ראש.

from transformers import pipeline

pipe = pipeline("automatic-speech-recognition", model="microsoft/VibeVoice-ASR-Streaming-7B")
print(pipe("שלום"))

הקבצים

21 קבצים במאגר, 16.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00005-of-00008.safetensors2.5 GB
• model-00001-of-00008.safetensors2.5 GB
• model-00006-of-00008.safetensors2.5 GB
• model-00004-of-00008.safetensors2.5 GB
• model-00003-of-00008.safetensors2.5 GB
• model-00002-of-00008.safetensors2.4 GB
• model-00007-of-00008.safetensors1.5 GB
• model-00008-of-00008.safetensors1.1 GB
• tokenizer.json7.0 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• figures/VibeVoice_ASR_Streaming_results.png623.1 KB
• figures/VibeVoice_ASR_Streaming_architecture.png191.7 KB
• model.safetensors.index.json120.1 KB
• tokenizer_config.json9.3 KB
• config.json3.7 KB
• README.md2.2 KB
• .gitattributes1.7 KB
• special_tokens_map.json1.2 KB
• added_tokens.json713 B
• preprocessor_config.json192 B

הרישיון

הפרויקט מופץ תחת רישיון MIT. המשמעות היא חופש מלא, אתם יכולים לקחת את הקוד והמשקלים, לשלב אותם במוצר מסחרי סגור, לשנות אותם ולהריץ אותם על שרתים שלכם, בלי לשלם תמלוגים ובלי חובה לפתוח את הקוד שלכם, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗