Lip_movement_reading
רץ בדפדפןvumichienרישיון לא דווח2023-01-15
הכלי מפענח דיבור מתוך תנועות שפתיים בווידאו ופולט טקסט. הוא מיועד למי שרוצה לבדוק קריאת שפתיים אוטומטית מקובץ או מיוטיוב בלי לגעת בקוד.
- —הורדות בחודש
- 118לייקים
מה זה
אתם מעלים קובץ וידאו עם פנים או מדביקים קישור לסרטון מיוטיוב, ומקבלים תמלול טקסטואלי לצד וידאו מעובד. הממשק כולל גם דוגמאות מוכנות שאפשר להריץ בלחיצה כדי לראות איך זה עובד בלי להעלות קובץ משלכם.
מאחורי הקלעים רץ המודל AV-HuBERT של פייסבוק, בגרסה שהועלתה על ידי vumichien. העיבוד עצמו מתבסס על dlib ו־OpenCV כדי לחלץ נקודות ציון של הפנים, לחתוך את אזור השפתיים וליישר אותו, לפני שמשקלי המודל מקבלים את הפריימים ומנסים לפענח מה נאמר שם.
מתאים ל
- בדיקת פענוח שפתיים מקומי
הרצת הקוד של הפרויקט על המחשב כדי לבדוק איך AV-HuBERT מתמודד עם קריאת שפתיים באנגלית.
- חילוץ פה מסרטוני יוטיוב
שימוש בקוד לחיתוך אוטומטי של תנועות שפתיים מתוך קישורי וידאו לצורכי מחקר.
- השוואת ביצועי מודלים
בחינת הדיוק של המודל מול קבצי וידאו נקיים כדי להעריך התאמה לזיהוי דיבור ללא אודיו.
איפה זה נופל
הבעיה המיידית היא שהחלל תקול כרגע ולא נטען בכלל בגלל שגיאת בנייה. מעבר לזה, המודל מבוסס על AV-HuBERT שאומן על אנגלית, כך שאין מה לבנות עליו לפענוח שפתיים בעברית.
הצינור כולו תלוי בזיהוי מדויק של הפנים באמצעות dlib. אם הזווית חדה מדי, התאורה חלשה או שהדובר זז מהר, שלב חיתוך הפה ייכשל והתמלול שיתקבל פשוט לא יהיה קשור למציאות.
שאלות
נפוצות
למה האפליקציה לא עובדת בדפדפן?
העמוד מדווח על BUILD_ERROR. משהו בהתקנת התלויות או בקוד נשבר בבנייה, ועד שמי שהעלה אותה לא יעדכן את המאגר, אי אפשר להשתמש בה ישירות באתר.
האם אפשר להריץ אותה על המחשב שלי?
כן, הקוד פתוח לעיון ומשתמש בספריות סטנדרטיות כמו fairseq, opencv ו־dlib. תצטרכו להוריד את הקבצים, להתקין את התלויות בעצמכם ולמשוך את המשקלים של AV-HuBERT.
זה עובד עם דיבור בעברית?
לא. המודל שנבחר פה אומן על מאגרי וידאו באנגלית בלבד, וקריאת שפתיים תלויה לחלוטין בשפה ובצורת ההגייה שנלמדה באימון.
האם השימוש כרוך בתשלום?
לא, הגישה לעמוד ולמשקלי המודל חופשית לחלוטין. אם תרצו להריץ אותו בעצמכם על חומרה שכורה כמו ה־T4 שעליה הוא הוגדר, תצטרכו לשאת בעלויות השרת שלכם.
איך משתמשים
בפועל אתם מזינים כתובת יוטיוב ולוחצים על כפתור ההורדה, או גוררים וידאו ישירות לממשק. אחרי שהווידאו בפנים, לוחצים על זיהוי נקודות הציון ולאחר מכן על כפתור החיזוי שמפעיל את המודל.
ההדגמה מוגדרת לרוץ על חומרת T4-small, אבל כרגע היא במצב של שגיאת בנייה ולכן אי אפשר להריץ אותה ישירות בדפדפן עד שהיוצר יתקן את הקוד. אם תריצו את הקוד מקומית עם אותה חומרה, העיבוד של dlib על כל פריים בווידאו ידרוש קצת סבלנות.
הרישיון
היוצר לא הגדיר רישיון לפרויקט הזה. המשמעות היא שזכויות היוצרים שמורות לו במלואן, ואין לכם אישור ברור לשימוש מסחרי בקוד או להפצה שלו. לגבי הסרטונים שאתם מנתחים, הטיפול בהם תלוי במדיניות של השרת שמארח את המודל.