whisper-base.en

מה זה

מדובר בגרסת בסיס לתמלול אנגלית בלבד ממשפחת וויספר של OpenAI, עם שישה שכבות וקצת מעל שבעים ושניים מיליון פרמטרים. האימון המקורי נעשה על שש מאות ושמונים אלף שעות של הקלטות מהרשת תחת פיקוח חלש, מה שמקנה לו עמידות טובה יחסית לרעשי רקע ומבטאים בלי כיול מחדש.

ההבדל העיקרי מול הגרסה הרב־לשונית המקבילה הוא המיקוד. המודל הזה לא יודע לתרגם ולא מכיר שום שפה חוץ מאנגלית, אבל כל המשקל והקיבולת שלו מוקדשים לשפה אחת, מה שנותן יציבות גבוהה יותר בגודל הקטן הזה.

מתאים ל

• תמלול שיחות פנימיות באנגלית

  רץ מקומית על שרת קיים בלי לשלוח מידע רגיש לשירותי ענן חיצוניים.

• הפקת כתוביות לסרטונים

  מייצר חותמות זמן מדויקות לכל מקטע אודיו באמצעות הגדרת return_timestamps.

• פיתוח אפליקציות במכשיר קצה

  גודל קובץ של 1.1 גיגה מאפשר להריץ אותו ישירות על לפטופים ומחשבי משרד.

איפה זה נופל

המגבלה המרכזית היא הזיות. בגלל ארכיטקטורת sequence to sequence והאימון על נתונים רועשים מהרשת, המודל מנסה לנחש את המילה הבאה ולפעמים פשוט ממציא טקסט שלא נאמר בהקלטה, או נתקע בלולאות של משפטים שחוזרים על עצמם.

הכרטיס מדגיש במפורש שיש הבדלי דיוק בין מבטאים ודמוגרפיות שונות. בנוסף, הוא לא מיועד לתמלול בזמן אמת ישר מהקופסה, ולא נבדק למשימות כמו זיהוי דוברים או חלוקה לפי דובר בלי אימון נוסף.

איך מריצים

טוענים אותו ישירות דרך ספריית transformers בפייתון עם WhisperProcessor או בתוך pipeline סטנדרטי. המודל מעבד קטעים של עד שלושים שניות בכל פעם, וכדי לעבוד עם קבצים ארוכים מגדירים חלוקה למקטעים דרך chunk_length_s.

במשקל קבצים של 1.1 גיגה, כל מעבד מודרני מריץ אותו בקלות בלי כרטיס מסך ייעודי, אם כי הרצה על GPU תספק מהירות גבוהה בהרבה. אין שום סיבה לשלם על API חיצוני אם יש לכם שרת פשוט ואתם צריכים לתמלל כמויות קטנות עד בינוניות של אנגלית.

from transformers import pipeline

pipe = pipeline("automatic-speech-recognition", model="openai/whisper-base.en")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 1.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h5290.7 MB
• pytorch_model.bin290.5 MB
• model.safetensors290.4 MB
• flax_model.msgpack290.4 MB
• tokenizer.json2.4 MB
• vocab.json798.2 KB
• merges.txt456.3 KB
• preprocessor_config.json185.0 KB
• normalizer.json52.7 KB
• added_tokens.json34.6 KB
• README.md14.8 KB
• config.json1.9 KB
• special_tokens_map.json1.8 KB
• generation_config.json1.5 KB
• .gitattributes1.4 KB
• tokenizer_config.json805 B

הרישיון

הרישיון הוא Apache 2.0. אפשר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו כחלק ממוצר סגור, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗