seamless_m4t

מה זה

הממשק מציע חמישה מצבי עבודה שונים: תרגום מדיבור לדיבור, מדיבור לטקסט, מטקסט לדיבור, מטקסט לטקסט, ותמלול אוטומטי. בהתאם למשימה שבוחרים, מזינים טקסט ידני או מקליטים קול ישירות מהמיקרופון, וניתן גם להעלות קובץ שמע קיים. התוצאה מתקבלת כטקסט מתורגם, כקובץ שמע להאזנה, או כשניהם יחד.

מאחורי הקלעים רץ המודל SeamlessM4T בגרסת Large דרך ספריית transformers, לצד רכיבי SONAR. המערכת מציגה גם שורות של דוגמאות מוכנות מראש לכל אחד ממצבי העבודה, כך שאפשר להתרשם מאיכות הפלט גם בלי להקליט או להקליד תוכן משלכם.

מתאים ל

• תרגום דיבור ישיר לשמע

  הקלטת משפט קצר ותרגומו לשפה אחרת בקובץ קול מוכן להאזנה.

• תמלול ותרגום שיחות

  העלאת קובץ קולי כדי לקבל תרגום טקסטואלי מלא לשפת היעד.

• תמלול שמע לטקסט

  המרת הקלטה קולית לטקסט כתוב בשפת המקור ללא תרגום.

• הקראת טקסט מתורגם

  הזנת משפט כתוב והפקת קובץ שמע המקריא אותו בשפה אחרת.

איפה זה נופל

החיסרון המרכזי והמיידי הוא סטטוס השגיאה של המרחב, שמונע שימוש בפועל בעמוד המקורי. בנוסף, חיתוך השמע האוטומטי מגביל בדיקה של שיחות ארוכות או הרצאות שלמות. הממשק משתמש בגרסת מודל ספציפית מתוך transformers ולא תמיד משקף את מלוא הביצועים או הגמישות של המימוש המקורי של פייסבוק.

איך משתמשים

בוחרים את סוג המשימה מתוך התפריט, מסמנים שפת יעד ושפת מקור במידת הצורך, ומזינים את הקלט בטקסט או בשמע. לאחר מכן לוחצים על כפתור התרגום וממתינים. אם מקליטים או מעלים קובץ ארוך מדי, מופיעה אזהרה והקוד חותך אוטומטית רק את השניות הראשונות שהוגדרו מראש. המרחב רץ על חומרת t4-medium, אך נכון לעכשיו הוא מדווח על שגיאת ריצה כללית, כך שאי אפשר להפעיל אותו ישירות בדפדפן בלי לתקן את הסביבה או לשכפל אותה.

הרישיון

הרישיון של המרחב לא דווח במאגר. במצב כזה אין אישור מפורש לשימוש מסחרי בקוד או בפלטים, ולא ברור מהם תנאי הפרטיות לגבי קבצי שמע וטקסטים שמועלים אליו.

הרישיון המלא ב־Hugging Face ↗