IndexTTS
רץ בדפדפןIndexTeamרישיון לא דווח2025-03-25
הכלי מייצר דיבור מטקסט בשיטת Zero-Shot עם שכפול קול לפי דגימה קצרה. הוא מתאים למי שצריך קריינות בסינית או באנגלית ורוצה שליטה מדויקת בהגייה וברווחים בין מילים.
- —הורדות בחודש
- 216לייקים
מה זה
אתם מספקים קטע שמע קצר של קול המקור וטקסט להקראה, ומקבלים קובץ אודיו חדש שמדבר את הטקסט בקול הנדגם. לפי הקוד והתיעוד, הארכיטקטורה מבוססת על מודל שפה בסגנון GPT שנשען על רכיבים מתוך XTTS ו־Tortoise, בשילוב מקודד Conformer לדגימת הדובר ומפענח BigVGAN2 לשיפור איכות הצליל.
הייחוד הטכני כאן מתמקד בשפה הסינית. המודל משתמש במידול היברידי של תווים ופיניין כדי לתקן שגיאות הגייה של מילים בעלות מספר משמעויות, ומגיב לסימני פיסוק כדי לתזמן הפסקות בדיבור. דוגמאות הקוד של המפתחים מציגות הפקה של פסקאות שלמות בסינית מתוך קובץ קול ייחוס יחיד.
מתאים ל
- שכפול קול בסינית
יצירת קריינות שמשכפלת קול דובר מקורי מתוך קובץ שמע קצר, תוך תיקון הגייה מדויק באמצעות פיניין.
- הפקת דיבור באנגלית
המרת טקסט באנגלית לאודיו בקול מותאם אישית לפי דגימת רפרנס, על בסיס נתוני אימון מ־Librispeech ו־CommonVoice.
- בדיקת איכות לקראת ריצה
בחינת איכות הדיבור וההפסקות בממשק הרשת לפני שמורידים את הקוד מגיטהאב ומריצים אותו מקומית על שרת.
איפה זה נופל
אין כאן תמיכה בעברית. המודל אומן ונבדק על סינית ואנגלית בלבד, וטקסט בעברית פשוט לא יעבוד או ייצר ג'יבריש קולי. בנוסף, כל היתרון של תיקון ההגייה מבוסס על פיניין ייעודי לסינית, כך שמי שמחפש פתרון לשפות אחרות יקבל כלי דיבור סטנדרטי בלי יכולות השליטה המיוחדות.
שאלות
נפוצות
האם השימוש באפליקציה כרוך בתשלום?
לא, הגישה לממשק בחינם ופתוחה ישירות בדפדפן. המערכת מופעלת על תשתית שיתופית ולכן אין תשלום על זמן העיבוד.
האם הכלי תומך בשפה העברית?
לא, המודל אינו כולל תמיכה בעברית. הנתונים מראים אימון ומבחנים על אנגלית וסינית בלבד, והזנת עברית תוביל לשגיאה או לשמע חסר משמעות.
מה קורה עם קבצי הקול שאני מעלה?
הקבצים מעובדים על השרת המארח של האפליקציה לצורך יצירת האודיו. היות שלא פורסם רישיון או הסכם פרטיות מסודר, לא כדאי להעלות הקלטות קול רגישות או פרטיות.
האם אפשר להריץ את זה על המחשב שלי?
כן, המפתחים פרסמו את משקלי המודל ואת קוד ההרצה בגיטהאב. הריצה דורשת סביבת פייתון 3.10, חבילות תואמות והתקנת FFmpeg על המחשב.
איך משתמשים
בממשק מעלים קובץ קול בפורמט מתאים, מקלידים או מדביקים את הטקסט ולוחצים על כפתור ההפקה. האפליקציה פועלת ברשת על גבי מעבד גרפי A10G בתצורת Zero GPU, כך שאם השרת קר ייתכן עיכוב של כמה שניות בהפעלה הראשונית. מעבר לכך אין צורך בהתחברות או בהרשמה כדי לבדוק אותה ישירות בדפדפן.
הרישיון
הרישיון של המודל והקוד לא דווח בעמוד האפליקציה. כשאין רישיון מוגדר, השימוש המסחרי אסור או נמצא בסיכון משפטי, ולא ברור מה הכללים לגבי הקבצים שאתם מעלים לשרת או הפלטים שנוצרים.