ChatTTS

מה זה

מדובר במודל שפותח כדי להפיק דיבור עם מאפיינים שיחתיים, בניגוד למודלי הקראה ישנים שנשמעים מונוטוניים ורובוטיים. המערכת כוללת תמיכה מובנית בשינוי קצב הדיבור, בחירת מאפייני הדובר ואפילו שילוב צחוק במהלך המשפט, מה שנותן גמישות גבוהה ביצירת קטעי שמע חיים יותר.

המשקל הכולל של הקבצים עומד על 2.2 ג'יגה בייט, מה שהופך אותו למודל קומפקטי יחסית שאפשר לפרוס מקומית בלי לשריין אשכולות ענק. הוא מתמקד באינטראקציות קוליות שדורשות תחושה אנושית יותר מסתם הקראת מאמרים, אם כי המפתחים כבר מציינים שהם עובדים על אימון גרסאות גדולות יותר בעתיד.

מתאים ל

• מחקר על דיבור טבעי

  מאפשר לבחון שילוב של אלמנטים כמו צחוק ושינויי קצב במודלי שמע אקדמיים.

• ניסויי דיאלוג מקומיים

  מתאים לבדיקת אינטראקציה קולית בפיתוח עצמאי על חומרה ביתית ללא צורך בענן.

• הדגמות קוליות לפרויקטים

  שליטה במאפייני הדובר מאפשרת לייצר דוגמאות שמע מגוונות לצורכי הדגמה ומחקר.

איפה זה נופל

היוצרים מדגישים בפירוש שהמידע והמודל נועדו לצרכים אקדמיים ומחקריים בלבד, ואין ערבות לדיוק, לשלמות או לאמינות של התוצאות. לא מפורט בכרטיס באילו שפות הוא אומן מעבר למה שקיים בקוד, ולכן תמיכה בעברית אינה מובטחת כלל וחובה לבדוק אותה לפני שמתכננים משהו. בנוסף, חוסר היציבות הטבעי של מודלים כאלה ביצירת צלילים כמו צחוק דורש בדיקה מעשית של איכות הפלט בכל תרחיש.

איך מריצים

כדי להריץ אותו, מתחילים בשכפול המאגר מגיטהאב ומשתמשים בספריית chat_tts בפייתון. המפתחים מספקים מחברת דוגמה שכוללת את הפרמטרים לשליטה על קול הדובר, מהירות הדיבור והוספת רכיבים כמו צחוק.

עם משקל של 2.2 ג'יגה בייט המודל לא דורש מפלצת חומרה, וכרטיס מסך מודרני ממוצע עם מספיק זיכרון יחזיק אותו בקלות להסקה מקומית. מי שמחפש פתרון מנוהל לחלוטין בלי להתעסק בתלויות של פייתון או בניהול שרתים יצטרך לחפש עטיפות צד שלישי, כי כאן מקבלים רק את הקוד והמשקלים.

pip install -U huggingface_hub
hf download 2Noise/ChatTTS

הקבצים

23 קבצים במאגר, 2.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• asset/GPT.pt900.7 MB
• asset/gpt/model.safetensors853.4 MB
• asset/Embed.safetensors145.6 MB
• asset/Decoder.pt103.7 MB
• asset/Decoder.safetensors103.7 MB
• asset/DVAE_full.pt60.4 MB
• asset/DVAE.safetensors60.4 MB
• asset/Vocos.pt54.4 MB
• asset/Vocos.safetensors54.3 MB
• asset/DVAE.pt27.7 MB
• asset/tokenizer/tokenizer.json448.6 KB
• asset/tokenizer.pt336.7 KB
• asset/tokenizer/tokenizer_config.json11.0 KB
• asset/tokenizer/special_tokens_map.json7.8 KB
• asset/spk_stat.pt4.3 KB
• README.md1.9 KB
• .gitattributes1.5 KB
• asset/gpt/config.json762 B
• config/vocos.yaml460 B
• config/gpt.yaml346 B
• config/path.yaml309 B
• config/dvae.yaml143 B
• config/decoder.yaml117 B

הרישיון

הרישיון הוא cc-by-nc-4.0. המשמעות פשוטה, אסור להשתמש במודל הזה בשום צורה למטרות מסחריות או להכניס אותו למוצר מניב. השימוש מוגבל למחקר, בדיקות ופרויקטים חינוכיים בלבד, תוך מתן קרדיט מתאים ליוצרים.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗