whisper-medium.en

מה זה

מדובר במודל זיהוי דיבור מסוג סקוונס־טו־סקוונס, שמבוסס על ארכיטקטורת קידוד ופענוח של טרנספורמר עם עשרים וארבע שכבות. הוא אומן על מאות אלפי שעות שמע ומלל מהרשת, תוך התמקדות בלעדית בשפה האנגלית. בניגוד לגרסאות הרב־לשוניות של המיזם, המודל הזה מתעלם לחלוטין מכל שפה שאינה אנגלית, ובזכות זה כל המשקולות שלו מוקדשות לדיוק תחבירי ופונטי באנגלית בלבד.

הוא מקבל מקטעי שמע, ממיר אותם לספקטרוגרמות באמצעות מעבד תואם, ופולט טקסט ישיר. הגודל שלו יושב באמצע הסדרה, מעל גרסאות הבסיס והגרסה הקטנה אבל מתחת לגרסת הענק, מה שנותן איזון סביר בין דיוק ביטויי ועמידות לרעשי רקע לבין דרישות חומרה.

מתאים ל

• תמלול פודקאסטים באנגלית

  הוא מציג עמידות טובה למבטאים ולמונחים טכניים, ומייצר חותמות זמן לפסקאות שלמות.

• המרת שיחות תמיכה למלל

  הוא מתמודד היטב עם רעשי רקע של שיחות טלפון באנגלית בלי צורך באימון מיוחד.

• סנכרון כתוביות לסרטונים

  ממשק החלוקה למקטעים מחזיר טווח זמנים מוגדר לכל משפט, מה שמקל על יצירת קובצי כתוביות.

איפה זה נופל

המודל אומן בפיקוח חלש על מידע רועש מהאינטרנט, ולכן הוא נוטה להזיות ולייצור טקסטים שלא נאמרו כלל בהקלטה. מבנה הפענוח גורם לו לפעמים להיכנס ללולאות של חזרתיות אינסופית על אותן מילים. בנוסף, הוא מוגבל לטעינה של שלושים שניות בכל פעם ודורש אלגוריתם חיתוך חיצוני כדי לתמלל שיחות ארוכות. הוא גם מציג פערים בביצועים בין מבטאים ודמוגרפיות שונות, ולא תומך באף מילה בעברית.

איך מריצים

טעינת המודל נעשית בעזרת ספריית transformers בפייתון, דרך ממשק ייעודי או צינור עיבוד מלא שמחלק את הקבצים לחלונות של שלושים שניות. המודל שוקל 11.4 גיגה־בייט בקובצי float32, כך שחובה להחזיק כרטיס גרפי עם זיכרון וידאו מספק כדי לקבל זמני תגובה הגיוניים, או לחלופין לבצע המרה לרמות דיוק נמוכות יותר.

אם אתם מתכננים לעבד כמה שעות בודדות בחודש, הרמת שרת עם מאיץ גרפי מתאים תעלה יותר זמן וכסף מתשלום לפי דקה לספק ענן חיצוני. הרצה עצמית שווה את המאמץ רק כשיש עומס תמלול קבוע וגבוה, או כשחייבים להשאיר את המידע בתוך הרשת המקומית בגלל פרטיות.

from transformers import pipeline

pipe = pipeline("automatic-speech-recognition", model="openai/whisper-medium.en")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 11.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h53.1 GB
• pytorch_model.bin3.1 GB
• model.safetensors3.1 GB
• flax_model.msgpack3.1 GB
• tokenizer.json2.4 MB
• vocab.json798.2 KB
• merges.txt456.3 KB
• preprocessor_config.json185.0 KB
• normalizer.json52.7 KB
• added_tokens.json34.6 KB
• README.md14.9 KB
• generation_config.json1.9 KB
• config.json1.9 KB
• special_tokens_map.json1.8 KB
• .gitattributes1.4 KB
• tokenizer_config.json805 B

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו כחלק ממוצר סגור, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗