Breeze-ASR-25

מה זה

מדובר בכיוונון של Whisper-large-v2 שביצעה מדיה-טק, עם דגש על שילוב שפות בתוך אותו משפט, תופעה נפוצה בשיחות יומיומיות ועסקיות שבהן דוברים עוברים הלוך ושוב בין מנדרינית לאנגלית. האימון כלל עשרת אלפים שעות של שמע מסונתז במנדרינית, לצד כאלף ושבע מאות שעות אמיתיות באנגלית ומערך קטן של שילוב שפות. בנוסף, בוצעו שיפורים בהצמדת חותמות זמן לצורך יצירת כתוביות.

ההבדל מורגש בעיקר במבחני שילוב שפות. במבחן CSZS-zh-en שיעור שגיאות המילים ירד ל־13.01 בהשוואה ל־29.49 בוויספר המקורי ול־26.43 בגרסה שלוש. מודלים כלליים נוטים להמיר מונחים טכניים באנגלית למילים סיניות שנשמעות דומה, בעוד שהגרסה הזו שומרת על המילים באנגלית כפי שנאמרו.

מתאים ל

• תמלול פגישות בהייטק

  מתאים לשיחות עבודה בטייוואן שבהן מונחים טכניים באנגלית נשזרים בדיבור במנדרינית.

• יצירת כתוביות לסרטונים

  כולל שיפור מובנה בהצמדת חותמות זמן, מה שמצמצם את הצורך בתיקון ידני של סנכרון.

• ניתוח הרצאות ושיעורים

  מזהה שמות מושגים באנגלית בתוך הרצאות טכנולוגיות ואקדמיות בשפה הסינית.

איפה זה נופל

הוא מיועד לשתי שפות בלבד, מנדרינית ואנגלית. אם תזינו לו הקלטות בעברית או בכל שפה אחרת, תקבלו הזיות או תמלול חסר משמעות. חיסרון נוסף נובע מכך שכל נתוני האימון בסינית היו סינתטיים ונוצרו על ידי מנוע דיבור, מה שעלול לפגוע בדיוק כשיש רעשי רקע כבדים, עיוותי מיקרופון או מבטאים אזוריים שונים ממנדרינית טייוואנית. כמו כן, בבדיקות של הרצאות אקדמיות ארוכות במנדרינית נקייה הוא לא הציג יתרון מובהק לעומת הדגם המקורי, ובחלקן אף קיבל תוצאה מעט נמוכה יותר.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־14.9 גיגה-בייט, ומאחר שמדובר בארכיטקטורת וויספר רגילה של מיליארד וחצי פרמטרים, הרצה מקומית דורשת כרטיס מסך עם לפחות שמונה עד עשרה גיגה-בייט של זיכרון לצורך הסקת מסקנות שוטפת. המודל נתמך ישירות בספריית transformers דרך מודול הצינור הרגיל של פייתון, כך שאין צורך בקוד מיוחד.

אם אתם צריכים תמלול שוטף בסביבת ענן שאינה מחזיקה שרתי עיבוד ייעודיים, עלויות החומרה להרצה עצמית של מודל בגודל כזה יהיו גבוהות בהרבה משימוש בשירות חיצוני. הרצה עצמית שווה את המאמץ רק כשעובדים בסביבה מקומית סגורה או בהיקפי תמלול עצומים שמצדיקים שרת ייעודי.

pip install -U huggingface_hub
hf download MediaTek-Research/Breeze-ASR-25

הקבצים

28 קבצים במאגר, 14.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• whisper-github/45df9c218f2037858b44e3af693bd063ad05bccc09eb0fb7a9a8c035859def3f/breeze-asr-25.pt6.2 GB
• optimizer.bin3.6 GB
• whisper-github/9c94a3554ff4f0de83494e2ed7ba5826efa74bd87955c034b4d0fd681746b690/breeze-asr-25.pt3.1 GB
• model.safetensors3.1 GB
• tokenizer.json3.9 MB
• vocab.json835.5 KB
• merges.txt493.9 KB
• tokenizer_config.json282.7 KB
• breezeasrpipe.png250.7 KB
• BreezeASR25.png208.8 KB
• normalizer.json52.7 KB
• added_tokens.json34.6 KB
• random_states_0.pkl16.1 KB
• random_states_1.pkl16.1 KB
• random_states_2.pkl16.1 KB
• random_states_3.pkl16.1 KB
• random_states_4.pkl16.1 KB
• random_states_5.pkl16.1 KB
• random_states_6.pkl16.1 KB
• random_states_7.pkl16.1 KB
• LICENSE12.6 KB
• README.md8.4 KB
• generation_config.json4.3 KB
• config.json2.3 KB
• special_tokens_map.json2.2 KB
• .gitattributes1.6 KB
• scheduler.bin1.1 KB
• preprocessor_config.json339 B

הרישיון

הפצה תחת רישיון apache-2.0 מאפשרת שימוש מסחרי מלא, שינוי של הקוד והמשקלים והטמעה במוצרים סגורים. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים וציון השינויים שנעשו, בלי תמלוגים או דרישה לחשוף את הקוד שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗