kotoba-whisper-v2.0

מה זה

מדובר בגרסה מזוקקת של Whisper large-v3 שתוכננה ספציפית עבור השפה היפנית. הארכיטקטורה שומרת על הקידוד המלא של מודל המקור אבל מכווצת את המפענח לשתי שכבות בלבד, מה שמוריד את מספר הפרמטרים ל־756 מיליון ומאיץ את העבודה פי 6.3 בהשוואה למודל המקורי.

האימון נעשה על בסיס נתוני ReazonSpeech שחולצו מהקלטות טלוויזיה יפניות בהיקף של יותר משבעה מיליון מקטעים. במבחני שגיאות תווים על המאגר הזה, הוא עוקף את המקור של OpenAI עם 11.6 לעומת 14.9, בעוד שבמאגרי בדיקה חיצוניים כמו CommonVoice ו־JSUT הוא מציג דיוק קרוב מאוד למודל המלא.

מתאים ל

• תמלול שידורי וידאו ביפנית

  הוא הוכשר על הקלטות טלוויזיה ומצטיין בזיהוי דיבור שוטף בתוכן מדיה.

• תמלול שיחות בזמן אמת

  מהירות ריצה גבוהה פי 6.3 שמאפשרת להחזיר פלט כמעט ללא השהיה.

• הרצה על חומרה מקומית וקצה

  משקל קל של 1.4 גיגה־בייט שמתאים להרצה חלקה על כרטיסי מסך קטנים.

איפה זה נופל

הוא יודע לעבוד אך ורק עם השפה היפנית. כל ניסיון לתמלל באמצעותו עברית, אנגלית או שפות אחרות ייכשל לחלוטין. בנוסף, אף על פי שהוא מתעלה על מודל המקור בבדיקות של תוכן טלוויזיוני שעליו הוא אומן, במבחני תמלול חיצוניים כמו JSUT שיעור שגיאות התווים שלו מעט פחות טוב מזה של Whisper large-v3. המודל גם דורש שמע בקצב דגימה של 16 קילו־הרץ, כך שחובה להמיר קבצים לפני ההזנה.

אותה משפחה

kotoba-whisper יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

טוענים את המשקלים דרך ספריית transformers מגרסה 4.39 ומעלה בפורמט bfloat16, תוך שימוש בצינור התמלול הרגיל. קובצי המודל שוקלים 1.4 גיגה־בייט בלבד, כך שכל כרטיס מסך ביתי עם 6 עד 8 גיגה זיכרון מריץ אותו מקומית בלי מאמץ. למי שמחפש ביצועים נוספים, יש גרסאות מותאמות לספריות faster-whisper ו־whisper.cpp, וכן תמיכה בהאצת Flash Attention 2.

בקריאות לקבצים ארוכים יש בחירה בין אלגוריתם עוקב שמדייק יותר לבין חלוקה למקטעים של 25 שניות שמקצרת את זמן הריצה עד פי תשעה. אם אין ברשותכם חומרה ייעודית בכלל והנפח שלכם נמוך מכמה שעות בחודש, עדיף לצרוך שירותי ענן קיימים במקום לתחזק שרת.

from transformers import pipeline

pipe = pipeline("automatic-speech-recognition", model="kotoba-tech/kotoba-whisper-v2.0")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 1.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors1.5 GB
• tokenizer.json2.5 MB
• vocab.json835.5 KB
• merges.txt493.9 KB
• tokenizer_config.json282.9 KB
• normalizer.json52.7 KB
• added_tokens.json34.6 KB
• README.md24.2 KB
• create_student_model.py6.4 KB
• generation_config.json3.9 KB
• special_tokens_map.json2.2 KB
• .gitattributes1.5 KB
• config.json1.3 KB
• preprocessor_config.json340 B

הרישיון

הפרויקט מופץ תחת רישיון Apache 2.0 המאפשר שימוש מסחרי חופשי, שינוי קוד והפצה פנימית או חיצונית. מותר לשלב אותו במוצרים סגורים בלי לחשוף קוד, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗