חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
S

speecht5-asr-demo

רץ בדפדפן

Matthijsapache-2.02023-01-31

  • gradio

האפליקציה מתמללת קטעי דיבור קצרים לאנגלית ישירות בדפדפן. היא מתאימה למי שרוצה לבדוק את יכולות זיהוי הדיבור של המודל בלי להתקין ספריות קוד.

  • —הורדות בחודש
  • 37לייקים

מה זה

אתם מעלים קובץ שמע או מקליטים ישירות דרך המיקרופון, ומקבלים תמלול טקסטואלי. הממשק מכיל גם ארבע דוגמאות מובנות של קבצי קול קצרים, כמו משפטים באנגלית או קטעי דיבור היסטוריים, כדי שאפשר יהיה לבדוק את הפלט בלחיצה אחת.

מאחורי הקלעים רץ הקוד של transformers שמשתמש במודלים ajyy/SpeechT5 או microsoft/speecht5_asr, יחד עם SpeechT5Processor ועיבוד מקדים של librosa ו־torch. המודל שייך למשפחת SpeechT5, שנועדה להתמודד עם משימות דיבור וטקסט, וכאן הוא מוגדר ספציפית לתמלול קול לטקסט.

מתאים ל

  • בדיקת תמלול באנגלית

    הרצת קטעי קול קצרים לבחינת דיוק הפלט של המודל באנגלית.

  • התנסות בדוגמאות מובנות

    בדיקת זיהוי דיבור על קבצי דוגמה ללא צורך בהקלטה עצמית.

  • הערכת ביצועי מודל

    בחינת יכולות ארכיטקטורת SpeechT5 לפני הטמעה בפרויקט קוד.

איפה זה נופל

כרגע העמוד מדווח על שגיאת ריצה (RUNTIME_ERROR), מה שאומר שההדגמה לא פעילה בפועל בדפדפן עד שיתקנו אותה. בנוסף, חומרת ה־CPU הבסיסית לא מיועדת לקבצים ארוכים, והממשק בנוי לבדיקת קטעים קצרים בלבד ולא לתמלול שיחות מלאות.

שאלות
נפוצות

האם השימוש באפליקציה עולה כסף?

לא, הגישה להדגמה בדפדפן היא בחינם לגמרי. אין צורך להכניס אמצעי תשלום ואין צורך לפתוח חשבון כדי לראות את הממשק.

למה האפליקציה לא עובדת עכשיו?

הסטטוס שלה מוגדר כרגע כשגיאת ריצה בקוד. המשמעות היא שהשרת נכשל בהרצה ולכן אי אפשר לעבד קול עד שמי שמתחזק אותה יתקן את הבעיה.

מה קורה עם קבצי השמע שמעלים לשם?

הקבצים נשלחים לשרת לצורך העיבוד של מודל הפייתון. מכיוון שמדובר בהדגמה ציבורית, עדיף לא להעלות הקלטות עם מידע רגיש או אישי.

האם אפשר להריץ את זה על המחשב שלי?

כן, הקוד משתמש בספריות transformers, torch ו־librosa ברישיון חופשי של apache-2.0. אפשר לקחת את הקוד מ־app.py ולהריץ אותו מקומית על המחשב.

איך משתמשים

לוחצים על כפתור ההקלטה או גוררים קובץ לחלון ההעלאה, ולוחצים על שליחה. האפליקציה רצה על חומרת cpu-basic בסיסית, כך שפענוח עלול לקחת כמה שניות טובות לכל קטע, בלי תאוצת מעבד גרפי. אין צורך בהרשמה או התחברות כדי לגשת לעמוד.

הרישיון

הקוד מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. לגבי קבצי הקול שמעלים, הממשק רץ בשרתי הדגמה ציבוריים ולכן לא מומלץ להעלות לשם הקלטות פרטיות.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗