OuteTTS-WebGPU

מה זה

היישום מקבל מחרוזת טקסט ומפיק ממנה קובץ שמע ישירות במחשב שלכם. במקום להסתמך על מנוע עיבוד קול מסורתי, הוא מפעיל את מודל OuteTTS שמשתמש בגישת מודל שפה טהורה ליצירת אודיו, כלומר הוא חוזה את צלילי הדיבור כרצף של אסימונים.

הטכנולוגיה שנמצאת מתחת למכסה המנוע מבוססת על ספריית Transformers.js בשילוב האצת WebGPU, מה שאומר שהחישובים לא מועברים לשרת ענן אלא מתבצעים ישירות על כרטיס המסך שלכם. הקוד בנוי מעל React ו־Vite כדוגמה יישומית סטטית שמציגה איך לחבר את המודל לדפדפן בלי תלות בתשתיות backend מורכבות.

מתאים ל

• בדיקת WebGPU בדפדפן

  מאפשר לבדוק את הביצועים של כרטיס המסך המקומי בהרצת מודלי שמע.

• הפקת שמע מקומית מטקסט

  יצירת קבצי דיבור מטקסט חופשי בלי לשלוח מידע לרשת חיצונית.

• בסיס לפיתוח יישומי שמע

  למידה והעתקת קוד מתוך הדגמה של React, Vite ו־Transformers.js.

איפה זה נופל

היוצרים מגדירים את OuteTTS כמודל ניסיוני, כך שלא כדאי לצפות לתוצאות מושלמות או יציבות בכל הרצה. בנוסף, חובה להשתמש בדפדפן ובמערכת הפעלה שתומכים ב־WebGPU בצורה מלאה, אחרת ההרצה תיכשל או לא תשתמש במעבד הגרפי כלל. אין פה כלים מורכבים לעריכת קול, אלא הדגמה בסיסית של המרת טקסט לקול.

איך משתמשים

פותחים את הדפדפן וטוענים את העמוד, ללא צורך בהרשמה או התחברות. מכיוון שמדובר בהרצה מקומית, הטעינה הראשונית כוללת הורדה של משקלי המודל למכשיר שלכם, ולכן הזמן עד הפקת הצליל הראשון תלוי לחלוטין במהירות החיבור ובחוזק של כרטיס המסך שלכם. לאחר שהמודל נטען בזיכרון, ההפקה מתבצעת ללא תורים של שרת חיצוני.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי, שינוי והפצה של הקוד. העיבוד נעשה מקומית בדפדפן שלכם ולכן הטקסטים והשמע שנוצרים אינם נשלחים לשרת חיצוני של היוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗