seamless-m4t-v2-large — הדגמה

מה זה

הממשק מחולק לחמש לשוניות עבודה לפי סוג הקלט והפלט: מדיבור לדיבור, מדיבור לטקסט, מטקסט לדיבור, מטקסט לטקסט, ותמלול ישיר. אתם מזינים קובץ שמע או מקלידים טקסט, בוחרים שפת מקור ושפת יעד מתוך הרשימות, ומקבלים בהתאם קובץ שמע להאזנה, תרגום כתוב, או שניהם יחד.

מאחורי הקלעים רץ הקוד של פייסבוק שמשתמש במודלים Seamless M4T v2 Large ו־SONAR דרך ספריית fairseq2. המערכת כוללת גם דוגמאות מובנות בכל אחת מהלשוניות, כך שאפשר לטעון קטעים מוכנים מראש כדי לראות איך המודל מתמודד איתם בלי להעלות קבצים משלכם.

מתאים ל

• תרגום דיבור ישיר לשמע

  מעלים קטע קול, בוחרים שפת יעד ומקבלים קובץ שמע מתורגם לצד תמלול כתוב.

• תמלול ותרגום הרצאות

  המרת קבצי דיבור קצרים לטקסט בשפת המקור או ישירות לשפה אחרת.

• הקראת טקסט מתורגם

  הזנת טקסט בשפה אחת ותרגומו לפלט קולי מוכן להאזנה בשפה שנייה.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה כרגע לא עובדת ומופיעה במצב שגיאה. בנוסף, הקוד כולל הגבלה מפורשת על אורך השמע, ואם תעלו קובץ ארוך מדי הוא פשוט יחתוך אותו וישתמש רק בשניות הראשונות בלי לעבד את השאר. אי אפשר לדעת מהקוד אם יש תמיכה בעברית ברשימת השפות, ולכן חובה לבדוק את הרשימה בממשק לפני שמסתמכים עליו.

איך מריצים

בוחרים את הלשונית הרצויה, מזינים שמע או טקסט, מגדירים את השפות ולוחצים על Translate. אין צורך בהתחברות כדי להשתמש בממשק.

עם זאת, כרגע המופע הציבורי מדווח על שגיאת ריצה (RUNTIME ERROR), כך שהוא לא באמת מגיב בדפדפן. החומרה שהוגדרה לו היא מעבד גרפי מסוג t4-small, שאמור לספק זמני עיבוד סבירים למודל בגודל הזה, אבל כל עוד השרת קרס תצטרכו לשכפל אותו לחומרה משלכם כדי להריץ.

pip install -U huggingface_hub
hf download facebook/seamless-m4t-v2-large

הקבצים

18 קבצים במאגר, 27.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• m4t_v2_multitask_unity2.pt11.4 GB
• seamlessM4T_v2_large.pt9.1 GB
• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors4.2 GB
• vocoder_v2.pt167.8 MB
• generation_config.json9.9 MB
• sentencepiece.bpe.model5.2 MB
• tokenizer.model5.2 MB
• spm_char_lang38_tc.model368.9 KB
• model.safetensors.index.json210.7 KB
• seamlessm4t_arch.svg50.1 KB
• tokenizer_config.json19.7 KB
• README.md15.8 KB
• config.json2.7 KB
• special_tokens_map.json2.3 KB
• added_tokens.json2.1 KB
• preprocessor_config.json1.8 KB
• .gitattributes1.5 KB

הרישיון

הרישיון של המרחב לא דווח. המשמעות היא שאין היתר שימוש מסחרי מוגדר מראש עבור ההדגמה הזו, וכדאי לבדוק את תנאי השימוש המקוריים של המודל Seamless M4T v2 לפני שמשלבים אותו בפרויקטים.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗