IndexTTS-2

קוד פתוח

IndexTeamרישיון לא דווח2025-06-18

safetensors
text-to-speech
en
zh

מערכת דיבור מבוססת טקסט שמכוונת לשליטה ברגש ובמשך ההקראה בלי צורך באימון מוקדם על הקול. הפתרון פונה למי שמחפש הפקת דיבור אקספרסיבי באנגלית או בסינית ישירות מהחומרה שלו.

5.5 GBמשקל הקבצים
9,685הורדות בחודש
781לייקים

מה זה

מדובר במודל Text to Speech אוטורגרסיבי שפותח כדי לייצר קולות בשיטת zero shot, כלומר חיקוי או יצירת קול ללא כוונון מקדים. המפתחים שמים דגש על שתי יכולות ספציפיות, שליטה מובנית ברמת ההבעה הרגשית של הדיבור ויכולת לתזמן ולקבוע את משך הפלט הקולי, תחומים שמודלים אוטורגרסיביים מתקשים בהם בדרך כלל בגלל הנטייה לקצב משתנה.

הפרויקט נשען על פיתוחים קודמים בעולם הקול הפתוח, ומשלב רעיונות וכלים מבוססים כמו XTTSv2, Tortoise, BigVGAN ופרויקטי עיבוד נוספים. המטרה כאן היא לתת מענה שמסוגל להתמודד עם דיבור חי יותר ולא מונוטוני, בתמיכה בשפות אנגלית וסינית.

מתאים ל

הקראת אודיו באנגלית ובסינית
יצירת קטעי דיבור עבור תכנים כתובים באנגלית או סינית שדורשים גיוון קולי ללא אימון מוקדם.
דיבוב דמויות עם שליטה ברגש
הפקת שורות דיאלוג למשחקים או סרטונים כשצריך לשלוט על משך המשפט ועל הטון הרגשי שלו.
קריינות לפי תזמון מוגדר
התאמת אורך הדיבור בדיוק למשך זמן נתון בווידאו בלי צורך בחיתוך או מתיחה מלאכותית.

איפה זה נופל

הבעיה הבולטת הראשונה עבור מפתח מקומי היא היעדר מוחלט של עברית, שכן המודל מוגדר ומאומן לעבוד עם אנגלית וסינית בלבד. אם המוצר שלכם פונה לקהל מקומי בישראל, אין לכם מה לעשות איתו בלי אימון מחדש.

בנוסף, כרטיס המודל לא חושף נתוני מדידה, צריכת זיכרון מדויקת בזמן אמת או זמני השהיה, כך שתצטרכו לבדוק בעצמכם אם הוא עומד בעומס לפני שילוב בפרודקשן.

שאלות
נפוצות

האם המודל תומך ביצירת דיבור בעברית?

לא. המודל מאומן ותומך בשפות אנגלית וסינית בלבד לפי הגדרות המפתח, ולא יפיק פלט תקין עבור טקסט עברי.

אפשר להשתמש בו ישירות במוצר מסחרי?

לא מומלץ כרגע. המפתחים לא פירסמו רישיון שימוש, ולכן כל שימוש מסחרי חושף אתכם לבעיות זכויות יוצרים עד להבהרת הנושא.

האם אפשר להריץ אותו על מעבד רגיל?

מבחינה טכנית זה אולי אפשרי, אבל הקבצים שוקלים 5.5 ג'יגה בייט ועיבוד קול אוטורגרסיבי ידרוש כרטיס מסך כדי לפעול בקצב סביר.

איך מריצים

המשקל הכולל של הקבצים עומד על 5.5 ג'יגה בייט, שמחולקים בין 22 קבצים שונים. גודל כזה דורש כרטיס מסך ייעודי סביר עם מספיק זיכרון VRAM כדי לטעון את כל המשקלים ולבצע את הרינדור הקולי בלי לקרוס.

אם אין לכם כרטיס תואם בענן או במחשב המקומי, להחזיק תשתית כזו עבור פניות בודדות זה כאב ראש מיותר. במצב כזה עדיף לרוב לפנות לשירות מנוהל חיצוני, אלא אם אתם מוכרחים שליטה מלאה בקבצים ופרטיות מקומית מוחלטת.

pip install -U huggingface_hub
hf download IndexTeam/IndexTTS-2

הרישיון

היוצרים לא ציינו רישיון שימוש בעמוד המודל. מבחינה משפטית, כשאין רישיון מוגדר, ברירת המחדל היא שכל הזכויות שמורות ואין לכם היתר חוקי להשתמש בו במוצר מסחרי, להפיץ אותו או להטמיע אותו בשירותים שלכם.

הרישיון המלא בעמוד המודל ↗