ChatTTS-OpenVoice

מה זה

מקלידים טקסט לחלון הקלט ובוחרים קובץ שמע קצר של קול המקור. הממשק מציג כברירת מחדל דוגמה מוכנה של קובץ בשם speaker.mp3, כך שלא חייבים להעלות הקלטה משלכם כדי לראות איך זה עובד. בתמורה מקבלים את גרסת הטקסט שעברה עיבוד, וקובץ שמע מוגמר.

מאחורי הקלעים הקוד משלב שני רכיבים שונים. מודל ChatTTS מייצר את הדיבור הבסיסי מהטקסט, כולל מילות קישור, הפסקות או צחוק לפי הגדרות כמו oral, laugh ו־break. מיד לאחר מכן, רכיב ToneColorConverter מתוך OpenVoice לוקח את גוון הקול מקובץ ההקלטה שהזנתם ומלביש אותו על הדיבור שנוצר.

מתאים ל

• הקראת טקסט עם צחוק והפסקות

  יצירת קטעי דיבור שנשמעים טבעיים וכוללים תוספות אנושיות כמו צחוק והיסוסים.

• שכפול גוון קול מטקסט

  הלבשת צבע קול מתוך קובץ שמע קיים על טקסט חדש לחלוטין.

• בדיקת שילוב ספריות

  בחינת אופן החיבור בקוד בין ChatTTS לממיר הקול של OpenVoice.

איפה זה נופל

הבעיה המיידית היא שההדגמה שבורה ולא מייצרת סאונד בגלל שגיאת ריצה בקוד. בנוסף, חומרת מעבד רגילה לא מתאימה להרצת מודלי דיבור כבדים כמו ChatTTS יחד עם ממירי גוון קול. לפני שמנסים להשתמש בזה, כדאי לקחת את הקוד מ־app.py ולהריץ אותו במחשב מקומי עם כרטיס מסך מתאים.

איך משתמשים

בממשק מכניסים את הטקסט, מגדירים פרמטרים כמו טמפרטורה, top_P, ערכי seed לקול ולטקסט, ולוחצים על Generate. אין צורך בחשבון כדי להסתכל, אבל בפועל אי אפשר להריץ אותה בדפדפן כרגע כי היא נמצאת במצב שגיאת ריצה. מעבר לזה, המרחב מוגדר על חומרת מעבד בסיסית בלבד ללא מאיץ גרפי, כך שגם אם השגיאה תתוקן, תהליך העיבוד הכפול יהיה איטי מאוד.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה של הקוד. עם זאת, יש לבדוק בנפרד את תנאי השימוש של המודלים עצמם, ChatTTS ו־OpenVoice, לגבי שימוש מסחרי בקולות ובקבצים שנוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗