Breeze-ASR-26

מה זה

בבסיס שלו נמצא Whisper שעבר אימון נוסף על כעשרת אלפים שעות של דיבור סינתטי בטאי-גי. המבנה מבוסס על 1.5 מיליארד פרמטרים ומשתמש בטוקנייזר הרב לשוני הרגיל, אך המטרה כאן מאוד ממוקדת: להקשיב לאודיו בטאי-גי ולכתוב את התוצאה בסימניות סיניות תקניות, תוך התחשבות במעברים חופשיים בין טאי-גי למנדרינית.

במבחני ביצועים שנערכו על שלושים הקלטות שירות ציבורי מטאיוואן, הוא השיג שיעור שגיאות תווים ממוצע של 30.13%. לשם השוואה, מודל Whisper רגיל שמכוון למנדרינית הגיע באותו מבחן לשגיאה של 49.99%, מה שמראה שאימון ייעודי לניב הזה הוא קריטי. מצד שני, ממוצע של שלושים אחוז שגיאה אומר שכל תו שלישי עדיין דורש בדיקה.

מתאים ל

• תמלול שיחות בטאי-גי

  ממיר דיבור בניב טאי-גי לסימניות מנדרינית ישירות, במקום להשתמש במודל כללי שנכשל על הניב הזה.

• מדידת מודלי דיבור מקומיים

  משמש כמודל ייחוס למדידת איכות של מערכות שמייצרות קול בטאי-גי על בסיס שיעור שגיאות תווים.

• הנגשת תכנים בטאיוואן

  מסייע לחילוץ כתוביות במנדרינית מתוך שידורי רדיו, הודעות לציבור ופודקאסטים שמוקלטים בניב המקומי.

איפה זה נופל

הנתון הכי בעייתי הוא הפער הגדול בין הדגימות. שיעור השגיאות נע בין 14.49% בהקלטות נקיות ועד 52.78% בקטעים מאתגרים, כך שחצי מהטקסט עלול לצאת משובש לחלוטין. בנוסף, כל המידע שעליו אומן המודל הוא שמע סינתטי, ולא הקלטות אנושיות ספונטניות מהחיים עצמם, מה שעלול לייצר כשלים מול מבטאים כבדים וסלנג. החיסרון המשמעותי ביותר הוא שהפלט מתקבל בסימניות מנדרינית ולא בכתב טאי-גי מקורי.

איך מריצים

המשקל הכולל של הקבצים מגיע לכמעט 5.8 גיגה בייט והוא נטען באמצעות transformers ישירות בתבנית המוכרת של Whisper. כדי להריץ מודל עם מיליארד וחצי פרמטרים בפורמט float32 המקורי תצטרכו כרטיס מסך עם לפחות שמונה עד עשרה גיגה זיכרון גרפי פנוי, או להמיר אותו לחצי דיוק כדי לחסוך מקום.

אין כאן גרסאות מוקטנות או סריאליזציות שונות בחבילה, וההפצה מכילה רק את משקלי המודל הגולמיים. אם אתם בונים שירות סביב אודיו בטאיוואנית ואין לכם שרת עם מאיץ ייעודי, עדיף להריץ שירות מנוהל חיצוני או לעבוד עם מודלים רב שימושיים דרך API, במיוחד אם נפח השמע שלכם קטן.

from transformers import pipeline

pipe = pipeline("automatic-speech-recognition", model="MediaTek-Research/Breeze-ASR-26")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 5.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors1.2 GB
• vocab.json1.0 MB
• merges.txt493.9 KB
• tokenizer_config.json282.7 KB
• model.safetensors.index.json111.6 KB
• normalizer.json52.7 KB
• added_tokens.json34.6 KB
• README.md8.9 KB
• training_args.bin5.3 KB
• generation_config.json4.3 KB
• special_tokens_map.json2.2 KB
• .gitattributes1.5 KB
• config.json1.4 KB
• preprocessor_config.json339 B

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י 2.0. מותר לקחת אותו, להטמיע בתוך מוצר מסחרי, לשנות את הקוד ולהריץ בענן או במחשב מקומי בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗