chatterbox

מה זה

מדובר במודל המרת טקסט לדיבור שנבנה על שלד של ליאמה בגודל 500 מיליון פרמטרים, ואומן על 500,000 שעות של נתוני שמע מסוננים. הוא מציע יכולת שכפול קול מקטע ייחוס קצר לצד שליטה ייחודית בפרמטרי יצירה כמו הגזמה רגשית והנחיית סיווג חופשי, מה שמאפשר לכוונן את הדרמטיות ומהירות הדיבור ישירות בקוד ההרצה.

בגרסה הרב לשונית השלישית החברה הרחיבה את התמיכה ל־23 שפות, שכוללות גם עברית וערבית לצד שפות אירופיות ואסיאתיות. המפתחים מדווחים על עדיפות במבחני הערכה השוואתיים מול מערכות מסחריות סגורות כמו אילוון לאבס, בעיקר סביב דמיון הדובר ויציבות המלל ללא הזיות קוליות, חזרות מיותרות או המשכים לא רצויים שהופיעו בגרסאות קודמות.

מתאים ל

• סוכני שירות קוליים

  מודל קל יחסית שמתאים ליצירת תגובות דיבור בקולות שונים עבור סוכני שיחה מבוססי טקסט.

• דיבוב רב לשוני במשחקים

  שכפול קולות של דמויות לעברית ולעשרות שפות נוספות תוך שימוש באותו קול מקורי.

• הפקת סרטונים ותוכן

  יצירת קריינות מותאמת אישית עם אפשרות להגביר דרמטיות והבעת רגש לפי סגנון הסרטון.

איפה זה נופל

המודל כולל מנגנון סימון מים מובנה שמוטמע בכל קובץ שמע שנוצר, כך שלא ניתן לייצר באמצעותו שמע אנונימי לחלוטין. בנוסף, בהעברת שפה לקול קיים יש סכנה שהפלט יקבל את המבטא של קובץ הייחוס במקום הגייה מקומית טבעית, מה שמחייב לאפס את משקל ההנחיה כדי למנוע את הבעיה.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־12.9 ג'יגה בייט ב־18 קבצים, מה שמחייב כרטיס מסך ייעודי של אנבידיה עם זיכרון גרפי סביר כדי להריץ את התהליך באופן מקומי. ההרצה נעשית בפייתון דרך חבילת chatterbox-tts בעזרת פקודה פשוטה שקוראת ישירות לחומרה הגרפית.

אם אתם צריכים זמני תגובה נמוכים מ־200 מילישניות עבור סוכני שיחה אינטראקטיביים בקנה מידה רחב, החברה מציעה שירות ענן משלה בתשלום. להרצה מקומית על השרת שלכם, מודל של 500 מיליון פרמטרים אינו כבד במיוחד, אך תצטרכו להגדיר את פרמטרי ה־cfg וההגזמה לפי סגנון הדיבור של דוגמת הקול כדי לקבל קצב דיבור יציב.

pip install -U huggingface_hub
hf download ResembleAI/chatterbox

הקבצים

18 קבצים במאגר, 12.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• t3_mtl23ls_v3.safetensors2.1 GB
• t3_mtl23ls_v2.safetensors2.1 GB
• t3_23lang.safetensors2.1 GB
• t3_cfg.safetensors2.1 GB
• t3_cfg.pt1.1 GB
• s3gen.pt1.1 GB
• s3gen_v3.pt1.1 GB
• s3gen.safetensors1.1 GB
• s3gen_v3.safetensors1.1 GB
• ve.pt5.7 MB
• ve.safetensors5.7 MB
• Cangjie5_TC.json1.9 MB
• conds.pt107.4 KB
• grapheme_mtl_merged_expanded_v1.json70.0 KB
• mtl_tokenizer.json68.1 KB
• tokenizer.json25.5 KB
• README.md10.1 KB
• .gitattributes1.5 KB

הרישיון

הפרויקט מופץ תחת רישיון MIT, מה שמאפשר שימוש חופשי, שינוי קוד והפצה מסחרית מלאה בתוך מוצרים ללא תשלום תמלוגים, בתנאי ששומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗