speech_matrix

מה זה

אתם מדברים לתוך המיקרופון של הדפדפן, בוחרים מודל מתוך רשימה סגורה, ומקבלים בחזרה קובץ שמע שמכיל את התרגום הקולי. אין כאן תיבת טקסט ואי אפשר להקליד שום דבר ידנית, הכל עובד ישירות מקול לקול.

מאחורי הקלעים הקוד טוען מודלים של פייסבוק, ובראשם xm_transformer_sm_all-en יחד עם מודלים ממשפחת textless_sm בין שפות שונות. המערך של הדוגמאות בקוד ריק לחלוטין, כך שאין בממשק הקלטות מוכנות מראש לשמיעה ואתם חייבים להקליט את עצמכם כדי לראות אם זה עובד.

מתאים ל

• בדיקת מודלים מדיבור לדיבור

  בוחנים איך מודלי textless מתמודדים עם תרגום שמע ישיר מהמיקרופון ללא המרה לטקסט באמצע.

• תרגום קולי לאנגלית

  מריצים את המודל שממיר שפות שונות ישירות לשמע באנגלית מתוך הרשימה הנטענת.

• השוואת גרסאות תרגום

  מקליטים משפט זהה ומחליפים מודלים בתפריט כדי לשמוע את ההבדלים בפלט הקולי.

איפה זה נופל

הבעיה המיידית היא שהחלל נמצא במצב של שגיאת בנייה, ולכן הוא פשוט לא נטען כרגע למשתמשים. מעבר לזה, הממשק מקבל שמע רק מהמיקרופון ולא מאפשר העלאת קבצים מוקלטים מהמחשב, ואין שום דרך לדעת מראש אילו שפות נתמכות בלי לנבור בשמות המודלים. חומרת המעבד החלשה גם לא מתאימה לעיבוד שמע כבד בזמן אמת.

איך משתמשים

נכנסים לעמוד, לוחצים על רכיב המיקרופון, מקליטים את הקול ובוחרים מודל מתפריט הגלילה. הממשק מוגדר להשתמש בתור דרך הפקודה queue, והחומרה שמוקצית לו היא מעבד בסיסי בלבד, מה שאומר שעיבוד קול מקצה לקצה עלול לזחול. בפועל כרגע אי אפשר ללחוץ על כלום בדפדפן כי הדף תקוע בשגיאת בנייה ולא עולה.

הרישיון

הפרויקט מפורסם תחת רישיון cc-by-nc-4.0. הרישיון הזה מתיר שימוש חופשי ושיתוף, אבל אוסר שימוש מסחרי מכל סוג. כל פיתוח או תוצר שמתבסס עליו חייב להישאר במסגרת לא מסחרית, עם מתן קרדיט ליוצרים המקוריים.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗