OWSM_v3_demo
רץ בדפדפןpyf98רישיון לא דווח2023-11-17
הדגמת דפדפן לתמלול ותרגום קול המבוססת על מודלי OWSM של ESPnet. היא מיועדת למי שרוצה לבחון זיהוי דיבור בקוד פתוח ישירות מהמיקרופון או מקובץ.
- —הורדות בחודש
- 55לייקים
מה זה
מעלים קובץ שמע או מקליטים ישירות מהמיקרופון, ומקבלים זיהוי של השפה ותמלול מלא של הטקסט. הממשק מאפשר לבחור את שפת המקור מתוך רשימה או לתת לו לזהות אותה לבד, לקבוע את המשימה כמו זיהוי דיבור, ולהוסיף הנחיית טקסט קצרה להכוונת הפלט.
מאחורי הקלעים רצים מודלים ממשפחת OWSM של פרויקט ESPnet, כולל גרסאות שמבוססות על ארכיטקטורת E-Branchformer. המערכת טוענת מודלים של Speech2Language לזיהוי שפה ו־Speech2Text לביצוע התמלול עצמו, בדומה למודלי Whisper אך על בסיס נתונים וכלים פתוחים.
מתאים ל
- זיהוי שפת דיבור
העלאת קובץ קצר ובחירה ב־Unknown כדי לזהות אוטומטית באיזו שפה מדובר מתוך קובץ השמע.
- בדיקת איכות תמלול
הזנת הקלטה קולית כדי לבחון את דיוק התמלול של משפחת מודלי OWSM מול כלים אחרים.
- תמלול עם הנחיה
מתן טקסט מקדים בשדה ההנחיה כדי לכוון את המודל למונחים מקצועיים או שמות ספציפיים.
איפה זה נופל
ההגבלה הראשונה והברורה היא שההדגמה שבורה כרגע ומציגה שגיאת ריצה, כך שלא ניתן להשתמש בה בפועל. בנוסף, הממשק מגביל את אורך ההקלטה ל־120 שניות בלבד, ומצב הפענוח הארוך מוגדר מראש כניסיוני ועלול לקרוס ולחתוך את הפלט ל־30 שניות.
שאלות
נפוצות
האם הממשק פועל כרגע בדפדפן?
לא, המרחב נמצא במצב RUNTIME_ERROR. עד שהקוד יתוקן על ידי היוצר, לא ניתן להריץ את הבדיקות דרך האתר.
האם אפשר להריץ את המודלים מקומית?
כן, המודלים עצמם שייכים לפרויקט ESPnet וזמינים דרך הקוד שלהם. מי שרוצה לעבוד איתם יכול להתקין את הספריות המתאימות ולהריץ אותם על חומרה עצמאית.
מהי מגבלת האורך של קבצי השמע?
רכיב הקלט בממשק מוגבל לקבצים של עד 120 שניות. קבצים ארוכים מזה לא נתמכים ישירות בטופס.
במה ההדגמה שונה משימוש ישיר במודל?
ההדגמה מספקת ממשק גרפי מוגבל בזמן ומשאבים שמיועד רק לבדיקה מהירה. שימוש ישיר בקוד פותח גישה לכל הפרמטרים ומסיר את מגבלת 120 השניות של הדפדפן.
איך משתמשים
בוחרים קובץ שמע או מקליטים קטע באורך של עד 120 שניות דרך הדפדפן. בממשק מגדירים את גודל ה־beam search בין 1 ל־5, ואפשר לסמן אפשרות ניסיונית לפענוח קטעים ארוכים, שאם תיכשל תחזור לפענוח 30 השניות הראשונות בלבד.
ההדגמה מוגדרת לרוץ על מעבד גרפי מסוג a10g-small כדי לייצר תגובה מהירה, אך כרגע היא במצב של שגיאת ריצה (RUNTIME_ERROR). המשמעות היא שאי אפשר להריץ אותה כרגע ישירות בדפדפן עד שיוצר המרחב יתקן את התקלה.
הרישיון
הרישיון של המרחב לא דווח. ללא רישיון מוצהר, לא ברור מה מותר לעשות עם הפלטים ואין היתר מפורש לשימוש מסחרי, כך שמומלץ לבדוק את רישיונות המודלים המקוריים ב־ESPnet לפני כל שימוש.