XLS-R-2B-22-16
רץ בדפדפןfacebookרישיון לא דווח2022-03-02
הדגמה לתרגום דיבור ישיר שנועדה לחוקרים שרוצים לבדוק תרגום קולי בין שפות שונות. מקליטים או מעלים אודיו ומקבלים תרגום טקסטואלי באחת מתוך 16 שפות יעד.
- —הורדות בחודש
- 36לייקים
מה זה
אתם מעלים קובץ שמע מהמחשב או מקליטים ישירות דרך המיקרופון, ובוחרים שפת יעד מתוך תפריט נפתח. הקוד מתוכנן לקלוט דיבור ב־22 שפות מקור ולהמיר אותו ישירות לפלט כתוב ב־16 שפות יעד אפשריות, ללא שלב תמלול נפרד באמצע.
מתחת לממשק רץ המודל wav2vec2-xls-r-2b-22-to-16 של פייסבוק, בארכיטקטורת SpeechEncoderDecoderModel שמחברת מעבד שמע ומפענח טקסט יחד. זהו מודל ענק עם שני מיליארד פרמטרים שמעבד את גלי הקול בעזרת ספריית librosa, מפענח את המאפיינים בעזרת חולץ תכונות, ומייצר תרגום כתוב בעזרת טוקנייזר ייעודי.
מתאים ל
- בדיקת תרגום מדיבור לטקסט
בחינת יכולות המרת קול משפות נתמכות ישירות לטקסט כתוב בשפת יעד.
- השוואת שפות שמע נתמכות
בדיקת הדיוק של המודל במעבר בין 22 שפות דיבור ל־16 שפות יעד.
- התרשמות ממודל 2B פרמטרים
הבנת הביצועים והמבנה של ארכיטקטורת XLS-R על קובצי קול קצרים.
איפה זה נופל
הבעיה המיידית היא שהחלל כלל לא רץ ואי אפשר לפתוח את הממשק בגלל שגיאת בנייה בהרצה. מעבר לזה, המודל תומך רק ב־22 שפות דיבור ו־16 שפות כתובות, כך שכל שפה אחרת פשוט לא קיימת בממשק. ההדגמה הזו מציגה גרסת בדיקה מוגבלת, ואינה כוללת אפשרויות עיבוד מתקדמות או טיפול בקבצים ארוכים.
שאלות
נפוצות
האם האפליקציה עובדת כרגע בדפדפן?
לא, המצב שלה מוגדר כשגיאת בנייה. הקוד לא הצליח להיבנות בשרת, ולכן לא ניתן להזין קבצים או ללחוץ על כפתורים בממשק.
האם השימוש באפליקציה כרוך בתשלום כלשהו?
לא, הדפים האלה פתוחים לגישה ללא תשלום ואינם דורשים דמי שימוש. עם זאת, כל עוד השגיאה בבנייה נמשכת, אין אפשרות להפעיל אותה בפועל.
האם אפשר להריץ את המערכת הזו מקומית?
כן, הקוד מסתמך על ספריות סטנדרטיות כמו transformers ו־librosa. אפשר להוריד את המודל facebook/wav2vec2-xls-r-2b-22-to-16 ולהריץ אותו במחשב, עדיף עם כרטיס גרפי מתאים בגלל גודלו.
כמה זמן אמור לקחת עיבוד של קובץ קול?
האפליקציה הוגדרה לרוץ על מעבד בסיסי בלבד ללא מאיץ גרפי. עבור מודל של שני מיליארד פרמטרים, עיבוד על חומרה כזו צפוי להיות אטי מאוד ולארוך דקות ארוכות לכל קטע קצר.
איך משתמשים
כרגע אי אפשר להשתמש באפליקציה בדפדפן כי היא מוגדרת במצב של שגיאת בנייה. כדי שהיא תעבוד, הייתם צריכים לבחור קובץ קול או להקליט, לסמן את שפת היעד וללחוץ על שליחה. האפליקציה הוגדרה על חומרת מעבד בסיסית, מה שאומר שגם אם היא הייתה פועלת, הרצה של מודל עם שני מיליארד פרמטרים על מעבד רגיל הייתה נמשכת זמן רב בכל ניסיון.
הרישיון
הרישיון של החלל לא דווח בקוד או בתיעוד. המשמעות היא שאין הרשאה ברורה לגבי שימוש מסחרי בקוד או בפלטים, ולא ידוע מה נעשה עם קובצי השמע שמועלים אליו.