YourMT3

מה זה

אתם מעלים קובץ קול, מקליטים ישירות דרך המיקרופון, או מזינים קישור לסרטון יוטיוב כדי לקבל תמלול מוזיקלי שמוצג כפלט ויזואלי. הממשק כולל דוגמאות מובנות מראש גם לקובצי קול מקומיים וגם לסרטונים, כך שאפשר לבדוק את התוצאות מיד בלי לחפש קבצים משלכם.

מאחורי הקלעים רץ שילוב של מספר מודלים מוכרים לצד המודל הייעודי YourMT3, כולל משפחת מודלי T5 כמו t5-small וגרסאות יעילות נוספות, wav2vec2-conformer של פייסבוק לעיבוד האותות, ו־language-perceiver של דיפמיינד. החיבור ביניהם מאפשר ניתוח של אות השמע ותרגומו לרצף של אירועים מוזיקליים בהתאם למאמר שפורסם סביב הפרויקט.

מתאים ל

• תמלול הקלטות שמע

  מעלים קובץ קול מקומי או הקלטה מהמיקרופון כדי להוציא תמלול מוזיקלי ישיר.

• בדיקת דוגמאות מיוטיוב

  מריצים תמלול על סרטונים שנבדקו מראש כדי לראות איך מודלים מזהים שכבות צליל שונות.

• הערכת ביצועי מודלים

  בוחנים את היכולת של ארכיטקטורת YourMT3 מול מודלי שפה ועיבוד אודיו מובילים.

איפה זה נופל

יוטיוב חוסם את כתובות ה־IP של האתר שבו הממשק מאוחסן, ולכן אי אפשר פשוט להדביק כל סרטון ולצפות שזה יעבוד חלק. המפתחים עצמם מציינים שהם מציגים דוגמאות שכבר תומללו מראש כדי לעקוף את הבעיה הזו. בנוסף, אם אתם בונים על תמלול של קטעים ארוכים או מורכבים במיוחד, ההסתמכות על הדגמת רשת חינמית עם הקצאת משאבים זמנית עשויה להיכשל באמצע התהליך.

איך משתמשים

בוחרים בין לשונית העלאת קובץ לבין לשונית יוטיוב, בוחרים דוגמה או מעלים אודיו משלכם, ולוחצים על כפתור Transcribe. לא צריך לפתוח חשבון, אבל בלשונית של יוטיוב מופיע קישור אימות של גוגל למכשירים בגלל חסימות גישה. העיבוד עצמו מתבצע על גבי חומרת zero-a10g שמקצה מעבד גרפי לפי דרישה, כך שזמן ההמתנה תלוי בעומס ובמשך הזמן שלוקח למודל לפענח את האודיו.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינוי של הקוד. לגבי הקבצים שאתם מעלים, הם מעובדים בשרת שבו רץ הממשק, ולכן לא מומלץ להעלות חומרים רגישים או יצירות שלא פורסמו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗