whisper-podlodka-turbo

מה זה

היוצר לקח את Whisper large v3 turbo ואימן אותו מחדש על מאגרי דיבור ברוסית ובאנגלית, כולל דאטהסט ייעודי בשם Podlodka Speech והקלטות שדה עם רעשי רקע. המטרה העיקרית הייתה לפתור שתי בעיות מוכרות בארכיטקטורה הזו: הזיות של טקסט כשאין דיבור בפועל, וחוסר עקביות באותיות גדולות ובסימני פיסוק ברוסית. כדי לנקות טעויות, תהליך האימון כלל שחזור פיסוק אוטומטי וסינון הזיות באמצעות מודלים ייעודיים.

חוץ מתמלול רגיל, הוא מספק חותמות זמן ומזהה קטעים נטולי דיבור דרך טוקן מיוחד. הוא תומך גם בתרגום דיבור ישיר בין רוסית לאנגלית, אם כי התרגום מרוסית לאנגלית עובד בצורה משמעותית טוב יותר מאשר בכיוון ההפוך.

מתאים ל

• תמלול פודקאסטים ברוסית

  הוא מאומן על דאטה ייעודי של הרצאות וכולל פיסוק ואותיות גדולות בלי צורך במודל עריכה נוסף.

• סינון קטעים שקטים

  הוא כולל זיהוי נוכחות דיבור ומחזיר טוקן מיוחד כשיש רק רעש רקע, מה שמונע טקסט מומצא.

• תרגום אודיו מרוסית לאנגלית

  הוא מתרגם דיבור רוסי ישירות לטקסט אנגלי במהלך אחד ומפיק פלט מדויק יחסית.

איפה זה נופל

אם אתם בונים על עברית, תשכחו מזה. הוא מיועד לרוסית ולאנגלית בלבד, וגם בין שתיהן היתרון הסטטיסטי המובהק נמדד רק בתמלול רוסית. תרגום מאנגלית לרוסית מייצר שגיאות ניכרות, והיוצר מודה במפורש שערבוב שפות באותו משפט לא נבדק כלל. הוא עדיין יורש את מגבלות הליבה של ארכיטקטורת Whisper המקורית.

איך מריצים

אתם טוענים אותו ישירות דרך ספריית transformers בחיבור עם accelerate כדי לחסוך זמן טעינה. עם 809 מיליון פרמטרים ומשקל קבצים של 3.0 גיגה בייט, כרטיס מסך ביתי מודרני עם 8 עד 12 גיגה בייט זיכרון יריץ אותו בלי להזיע, במיוחד אם מורידים את הדיוק מברירת המחדל של float32.

לזיהוי דיבור ושקט, המפתח ממליץ להתקין בנוסף את ספריית whisper lid כדי לעקוף באג בפייפליין הרגיל. אם אתם מעבדים הרצאות או פגישות ארוכות, תצטרכו להשתמש בגישת חלון נע כדי לחלק את האודיו למקטעים.

from transformers import pipeline

pipe = pipeline("automatic-speech-recognition", model="bond005/whisper-podlodka-turbo")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 3.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors3.2 GB
• test_sound_ru_longform.wav9.5 MB
• tokenizer.json2.7 MB
• test_sound_en.wav1.3 MB
• vocab.json1.0 MB
• test_sound_ru.wav958.6 KB
• merges.txt493.9 KB
• test_sound_nonspeech.wav320.0 KB
• tokenizer_config.json282.8 KB
• normalizer.json52.7 KB
• added_tokens.json34.6 KB
• README.md30.6 KB
• generation_config.json3.8 KB
• special_tokens_map.json2.2 KB
• .gitattributes1.8 KB
• config.json1.3 KB
• preprocessor_config.json340 B

הרישיון

רישיון apache 2.0 מאפשר שימוש חופשי לחלוטין, כולל הטמעה במוצרים מסחריים ושינוי של הקוד והמשקלים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי, בלי להטיל אחריות משפטית על המפתח.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗