whisper-hindi-large-v2

מה זה

מדובר בגרסת Large-v2 של וויספר שעברה אימון נוסף ספציפית על הינדי, במסגרת מרתון כוונון מודלים ובתמיכת מעבדת הדיבור של IIT Madras. הבסיס המקורי אמנם תומך בשפות רבות, אך כוונון ממוקד על שפה בודדת נועד לצמצם שגיאות תמלול הנובעות ממבטאים מקומיים וממילים ייחודיות.

האימון התבסס על ארבעה מאגרים שונים של דיבור בהינדי, ביניהם GramVaani, ULCA, Shrutilipi והחלק ההינדי של Fleurs. השילוב הזה חושף את המודל למגוון מקורות אקוסטיים, מדיבור יומיומי ועד הקלטות רשמיות יותר. הוא מכיל 32 שכבות בארכיטקטורת המקור, ללא שינוי במבנה הבסיסי.

היוצרים לא פירסמו מדדי שגיאה מספריים כמו אחוזי שגיאת מילים בעמוד המודל, למרות שציינו סטים ספציפיים לבדיקה. בלי המספרים האלה, קשה לדעת בדיוק כמה הוא מדויק יותר מגרסת המקור של OpenAI, ותצטרכו למדוד אותו על המידע שלכם.

מתאים ל

• תמלול שיחות בהינדי

  המודל עבר אימון על מאגרים רחבים ומסוגל להמיר הקלטות שמע ארוכות לטקסט הינדי כתוב.

• עיבוד אצווה מהיר

  קוד האינפרנס כולל תמיכה מובנית ב־whisper-jax לעיבוד קבצי אודיו רבים במקביל על חומרה חזקה.

• מחקר אקדמי על דיבור

  הקוד לאימון זמין במלואו בריפו מקושר, דבר שמאפשר לבדוק את שיטות הכוונון על מאגרי שמע נוספים.

איפה זה נופל

החיסרון המרכזי כאן הוא חוסר מוחלט במדדי הערכה כמותיים בעמוד המודל. לא פורסם ציון WER על אף אחד ממאגרי הבדיקה, כך שאין דרך לדעת מה רמת הדיוק שלו לפני שמריצים בפועל. בנוסף, האימון הופסק אחרי 57,000 צעדים מתוך תכנון מקורי של 116,255 צעדים, ללא הסבר מדוע הוא נחתך באמצע.

המודל מוגבל לשפה אחת בלבד. הקוד מקבע את הפענוח להינדי, כך שהוא אינו מיועד לתמלול מעורב של הינדי ואנגלית או לשפות אחרות בלי בדיקה נפרדת.

איך מריצים

טעינת המודל מתבצעת דרך ספריית transformers הרגילה בפייתון, עם ציון מפורש של קוד השפה להינדי. היוצרים מספקים גם דוגמה להרצה דרך whisper-jax, המאפשרת עיבוד מקבילי בקבוצות גדולות למי שרוצה לסחוט ביצועים טובים יותר.

המשקל הכולל של הקבצים מגיע ל־11.5 גיגה בייט בדיוק float32. כדי להריץ אותו מקומית בלי לקבל שגיאות זיכרון תצטרכו כרטיס מסך עם לפחות 16 גיגה בייט של VRAM. אם אתם מעבדים רק קבצים בודדים מדי פעם, שימוש בשרת ייעודי או שירות מנוהל חיצוני יהיה פשוט וזול בהרבה מלהחזיק חומרה כזו דולקת.

from transformers import pipeline

pipe = pipeline("automatic-speech-recognition", model="vasista22/whisper-hindi-large-v2")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 11.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin6.2 GB
• flax_model.msgpack6.2 GB
• vocab.json1.0 MB
• merges.txt493.9 KB
• preprocessor_config.json185.0 KB
• normalizer.json52.7 KB
• README.md4.3 KB
• training_args.bin3.6 KB
• added_tokens.json2.1 KB
• special_tokens_map.json2.1 KB
• .gitattributes1.5 KB
• config.json1.3 KB
• tokenizer_config.json832 B
• generation_config.json300 B

הרישיון

המודל מופץ תחת רישיון Apache 2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי של הקוד והפצה מחדש בלי תשלום תמלוגים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים וציון הרישיון המקורי בכל תוצר שמבוסס עליו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗