ChatTTS-Forge
רץ בדפדפןlenMLagpl-3.02024-06-03
הכלי מייצר דיבור מטקסט עם שליטה ברגשות ובסגנונות הגשה. הוא מתאים ליוצרים ומפתחים שמחפשים דיבוב ממוחשב עם נימות משתנות.
- —הורדות בחודש
- 301לייקים
מה זה
אתם מזינים טקסט רגיל או קטעי SSML, ובוחרים סגנון דיבור מתוך רשימה רחבה. הפלט הוא קובץ שמע של הדיבוב שנוצר.
מאחורי הקלעים פועל מודל הדיבור ChatTTS של 2Noise, יחד עם מודל ההשבחה resemble-enhance של ResembleAI. המבנה האוטו-רגרסיבי של המודל מאפשר להתערב בתהליך ההפקה ולהזריק סגנונות שונים, החל מחדשות פורמליות, לחישות וקריינות דוקומנטרית ועד לפחד או כעס.
המערכת כוללת רשימת הגדרות מוגדרת מראש עם עשרות אפשרויות קוליות, כולל גרסאות שמזריקות הקשר מיוחד ומסומנות בסיומת ייעודית לשליטה מוגברת.
מתאים ל
- קריינות לפודקאסטים וסרטונים
יצירת קריינות בסגנון דוקומנטרי, חדשותי או רגוע מתוך טקסטים ארוכים יחסית.
- דיבוב דמויות במשחקים
הפקת שורות דיאלוג עם רגשות מובהקים כמו כעס, פחד, לחישה או שמחה.
- הודעות שירות ומענה קולי
הקראת הודעות תמיכה בטון שירות לקוחות ידידותי או כעוזר דיגיטלי.
איפה זה נופל
המופע הספציפי ברשת מוגבל באורך הטקסט: עד 2000 תווים בטקסט רגיל, או 3000 תווים בקוד SSML ללא ספירת התגיות. סגנונות מסוימים, בעיקר אלה שמזריקים הקשר, מוגדרים על ידי המפתח כניסיוניים ועלולים לפגוע באיכות השמע בתמורה לשליטה חזקה יותר. בנוסף, אין בתיעוד שום אינדיקציה לתמיכה בעברית.
שאלות
נפוצות
האם האפליקציה עובדת כרגע בדפדפן?
לא באופן ישיר. המופע הציבורי נמצא כרגע במצב מושהה. כדי להשתמש בו צריך לשכפל את הפרויקט לחשבון שלכם או לפתוח את מחברת ה־Colab שהמפתחים שיתפו.
האם יש הגבלה על אורך הטקסט שממירים?
כן, יש מגבלות אורך ברורות בגלל זמני הריצה. טקסט רגיל מוגבל לעד 2000 תווים. שימוש בפורמט SSML מאפשר עד 3000 תווים, כאשר תגיות העיצוב עצמן אינן נספרות במכסה.
האם אפשר להריץ את הכלי על המחשב האישי?
בהחלט. הקוד פתוח לחלוטין וכולל הוראות לפריסה עצמאית ו־API מקומי. קיים גם קישור להפעלה קלה בענן באמצעות Colab אם אין לכם חומרה חזקה.
איך משתמשים
נכנסים לממשק הדפדפן, מקלידים את התוכן ומפעילים את היצירה. נכון לעכשיו המופע הציבורי נמצא במצב מושהה ואינו זמין להרצה ישירה ללא שכפול. הוא רשום על חומרת מעבד בסיסית, מה שהיה מביא לעיבוד איטי מאוד של מודלים כאלה, אבל היוצרים צירפו מחברת Colab להרצה בלחיצה אחת וקוד לפריסה מקומית.
הרישיון
הפרויקט מופץ תחת רישיון agpl-3.0. מדובר ברישיון קוד פתוח תובעני שמחייב שיתוף של כל שינוי בקוד המקור, במיוחד כשמריצים את השירות דרך רשת. התיעוד אינו מציין זכויות או הגבלות מסחריות על קובצי הקול שמופקים מההרצה.