GPT
הוספת כלי
I

Index-TTS

קוד פתוח

IndexTeamapache-2.02025-03-25

  • index-tts
  • text-to-speech

הפקת דיבור בשיטת zero-shot שמבוססת על שילוב של XTTS ו־Tortoise. הוא מתאים למי שצריך שליטה ידנית בהפסקות נשימה ובדיוק הגייה פונטי, בעיקר סביב סינית.

  • 2.9 GBמשקל הקבצים
  • 125הורדות בחודש
  • 155לייקים

מה זה

מדובר במודל ארכיטקטורת GPT להמרת טקסט לדיבור שנשען על עבודות קודמות כמו Tortoise ו־XTTSv2, לצד שילוב של BigVGAN2 לשיפור איכות האודיו הסופית. המפתחים אימנו אותו על עשרות אלפי שעות של דאטה כדי לייצר שכפול קול מהיר מקטע קצרצר בלי אימון מחדש.

ההבדל המרכזי מול מודלים פתוחים אחרים מתמצה ביכולת התערבות ישירה בפלט. אפשר לתקן הגייה של תווים סיניים באמצעות פיניין ולשלוט על מיקום ומשך העצירות בעזרת סימני פיסוק, מה שפותר בעיות מקובלות של קריאה רציפה מדי. המפתחים מדווחים על ביצועים שעוקפים מתחרים מוכרים כמו CosyVoice2, Fish-Speech ו־F5-TTS, בעיקר הודות לייצוג משופר של מאפייני הדובר.

מתאים ל

  • שכפול קול לפודקאסטים

    הפקת דיבור בקולות מותאמים אישית מתוך דגימה קצרה בלבד הודות ליכולות zero-shot.

  • דיבוב מדויק לסינית

    שליטה פונטית מוחלטת בהגיית תווים בעזרת פיניין למניעת טעויות הקראה נפוצות.

  • קריינות עם תזמון מוגדר

    שליטה יזומה בעצירות והפסקות דיבור באמצעות סימני פיסוק רגילים בטקסט.

איפה זה נופל

ההתמקדות העיקרית של הפיתוח היא סינית, החל מתמיכה מפורשת בפיניין ועד פנייה לחוקרים דרך כתובת מייל של ביליבילי. אין בכרטיס המודל שום אזכור או התחייבות לתמיכה בשפות אחרות, בטח שלא עברית, כך שסביר להניח שטקסטים מקומיים פשוט לא יעבדו כאן. בנוסף, מודלים שמשלבים ארכיטקטורת Tortoise עם BigVGAN2 נוטים להיות כבדים בזמני יצירה בהשוואה למודלים פשוטים יותר, נקודה קריטית אם אתם מתכננים שירות בזמן אמת.

שאלות
נפוצות

האם המודל תומך בדיבור בעברית?

הכרטיס והמאמר מדגישים יכולות בסינית ובקרקע שמבוססת על XTTS, ללא שום בדיקה או תיעוד לגבי עברית. רוב הסיכויים שהוא לא יידע להתמודד עם פונטיקה שמית בלי אימון ייעודי משלכם.

כמה זיכרון כרטיס מסך נדרש להרצה סבירה?

נפח הקבצים הוא 2.9 גיגה-בייט, מה שאומר שכרטיס מסך סטנדרטי עם 8 עד 12 גיגה זיכרון יספיק לטעינת המודל והסקה. אם תרצו לייצר קטעי שמע ארוכים במיוחד או לשרת כמה בקשות במקביל, כדאי לכוון לכרטיסים חזקים יותר.

האם אפשר להשתמש בו ישירות מתוך ספריית transformers?

לא, המודל משתמש בקוד ייעודי משלו שיושב בספריית index-tts ובמאגר גיטהאב נפרד. תצטרכו להתקין את התלויות של הפרויקט לפי ההנחיות שלהם כדי לטעון את המשקולות.

איך מריצים

המשקל הכולל של הקבצים עומד על 2.9 גיגה-בייט שמחולקים לתשעה קבצים, גודל קומפקטי יחסית שמאפשר להריץ אותו מקומית על כרטיס מסך ביתי סביר עם 8 עד 12 גיגה זיכרון וידאו. ההרצה מתבצעת ישירות מול מאגר הקוד הפתוח הייעודי של הפרויקט בספריית index-tts.

אם כל מה שאתם צריכים זה קריינות גנרית באנגלית ללא צורך בשכפול קולות או דיוק של עצירות, עדיף להשתמש ב־API קיים. הרצה עצמית שווה את המאמץ בעיקר כשאתם חייבים שליטה מוחלטת בטונציה, פרטיות מלאה של קובצי הקול או טיפול מורכב בטקסט סיני.

pip install -U huggingface_hub
hf download IndexTeam/Index-TTS

הקבצים

9 קבצים במאגר, 2.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי של הקוד והפצה מחדש בחינם וללא תמלוגים, בתנאי ששומרים על הודעות זכויות היוצרים ומצרפים עותק של הרישיון. אתם יכולים לשלב אותו במוצר פנימי או חיצוני בלי לחשוף את הקוד שלכם.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗