collabora/WhisperSpeech

מה זה

אתם מקלידים טקסט בתיבת הקלט ומקבלים קובץ שמע שמקריא אותו. הממשק כולל תמיכה מפורשת באנגלית ובפולנית באמצעות תגיות שפה כמו en או pl, ומאפשר לקבוע את קצב ההקראה באמצעות בורר מהירות שנע בין עשר לחמש עשרה. בנוסף אפשר להקליט את עצמכם, להעלות קובץ שמע מהמחשב או להדביק קישור חיצוני לקובץ קול כדי לכוון את גוון הדיבור של התוצאה.

מאחורי הקלעים רץ צינור העבודה של WhisperSpeech מבית קולבורה, שנשען על מודל ייעודי ועל דאטהסט באותו שם. המערכת משתמשת בספריות פייתורץ' וטורצ'אודיו כדי לעבד את האותות ולהפיק את גלי הקול. דוגמאות הטקסט שמופיעות בתחתית העמוד נועדו להמחיש את שילוב השפות ואת יכולת המודל להתמודד עם קלטים שונים.

מתאים ל

• המרת טקסט לשמע

  יצירת קובצי דיבור באנגלית או בפולנית מתוך טקסט כתוב בקצב שניתן להתאמה ידנית.

• שכפול קול בסיסי

  העלאת דגימת שמע או הדבקת קישור לקובץ חיצוני כדי להפיק דיבור בגוון קול ספציפי.

• בדיקת המודל של קולבורה

  הערכת היכולות של פרויקט WhisperSpeech בלי להתקין את הספריות באופן מקומי במחשב.

איפה זה נופל

הבעיה המרכזית כרגע היא שההדגמה נמצאת במצב שגיאה ולא מגיבה כלל. מעבר לזה, הממשק מציג תמיכה ברורה באנגלית ובפולנית בלבד, כך שאין שום אינדיקציה לכך שעברית נתמכת או תישמע הגיוני. מי שמחפש פתרון יציב להפקה מסחרית לא יכול להסתמך על דף הדגמה שסובל מנפילות תשתית.

איך משתמשים

טוענים את העמוד, מדביקים טקסט בתיבה, ובוחרים אם להעלות קובץ קול או להקליט משהו קצר ברמקול. אחרי שמכוונים את סליידר המהירות לוחצים על כפתור ההפקה ומחכים שהשמע יופיע בנגן בצד ימין. אין כאן צורך בהרשמה או בחשבון כדי לנסות. השרת מוגדר לרוץ על כרטיס גרפי t4-small, שאמור לספק מהירות סבירה למשפטים קצרים, אבל כרגע הדף מדווח על שגיאת ריצה כללית, כך שאי אפשר לייצר שמע בפועל עד שהמפתחים יתקנו את הסביבה.

הרישיון

הפרויקט מפורסם תחת רישיון mit, שזה רישיון קוד פתוח מתירני מאוד שמאפשר שימוש חופשי, שינוי והפצה גם לצרכים מסחריים. אין מידע ספציפי לגבי שמירת קובצי השמע שאתם מעלים להדגמה עצמה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗