csm-1b — הדגמה

מה זה

אתם מזינים תסריט שיחה בתיבת טקסט ובוחרים קולות עבור שני דוברים שונים. לכל דובר אפשר לבחור קול מוכן מראש, או לפתוח תפריט ייעודי ולהעלות קובץ שמע משלכם יחד עם תמלול הטקסט שלו. בסיום התהליך מקבלים קובץ שמע מחובר עם סימון מים מובנה שמכיל את כל השיחה המדוברת.

מאחורי הקלעים רץ המודל CSM בגרסת מיליארד פרמטרים, שמבוסס על שלד של Llama 3.2 1B יחד עם מפענח שמע שמפיק קודי Mimi. המערכת מקבלת טקסט וקול, ממירה אותם לייצוגי שמע, ומרכיבה את רצף הדיבור לפי התורות שהגדרתם. הדוגמאות המובנות מתבססות על נתוני שיחה ודיבור ממאגרי EdAcc ו־LibriTTS-R.

מתאים ל

• הפקת פודקאסט מטקסט

  יצירת דיאלוג מלא בין שני דוברים לצורך הדמיית ראיון או תוכנית שמע.

• הדגמת קול מותאם אישית

  בדיקת המודל עם הקלטה ותמלול עצמאיים לקבלת סגנון דיבור ייחודי.

• בדיקת יכולות דיבור שיחתי

  הערכת תזמון, החלפת תורות ואיכות שמע לפני הטמעה מקומית של המודל.

איפה זה נופל

אם התסריט שלכם דורש יותר משלוש דקות עיבוד, ההרצה תיעצר בשגיאה ותצטרכו לשכפל את החלל לחשבון פרטי. ההדגמה מוגבלת לשני דוברים בלבד ואינה מתאימה לשיחות מרובות משתתפים. מעבר לכך, כל תוצרי השמע כוללים סימון מים מוטמע בקוד, והמפתחים אוסרים במפורש שימוש להונאה, התחזות ללא הסכמה או הפצת מידע כוזב.

איך מריצים

בוחרים דוברים, מדביקים את הדו-שיח בתיבה ולוחצים על כפתור יצירת השיחה. האפליקציה רצה על חומרת A10G של חצי שרת דרך ZeroGPU, כך שהיא נטענת ומתחילה לעבד רק ברגע הבקשה. זמן השימוש המרבי במעבד הגרפי מוגבל לשלוש דקות בלבד לכל הרצה, ואם התסריט והקולות ארוכים מדי תקבלו שגיאה. אם תעלו קובץ שמע מרובה ערוצים, הוא יומר אוטומטית למונו.

pip install -U huggingface_hub
hf download sesame/csm-1b

הקבצים

20 קבצים במאגר, 18.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• ckpt.pt6.2 GB
• model.safetensors6.2 GB
• transformers-00001-of-00002.safetensors4.9 GB
• transformers-00002-of-00002.safetensors2.2 GB
• tokenizer.json17.2 MB
• prompts/conversational_a.wav2.6 MB
• prompts/conversational_b.wav2.6 MB
• prompts/read_speech_a.wav831.4 KB
• prompts/read_speech_b.wav576.1 KB
• prompts/read_speech_d.wav435.9 KB
• prompts/read_speech_c.wav386.0 KB
• transformers.safetensors.index.json59.7 KB
• tokenizer_config.json50.6 KB
• README.md12.1 KB
• config.json3.3 KB
• chat_template.jinja2.0 KB
• .gitattributes1.9 KB
• special_tokens_map.json449 B
• preprocessor_config.json271 B
• generation_config.json264 B

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0 שמאפשר שימוש חופשי, שינוי והפצה של הקוד. תנאי השימוש של היוצרים אוסרים במפורש חיקוי קול של אנשים ללא הסכמתם או יצירת תוכן מטעה. הקוד והמשקלים פתוחים להורדה גם בגיטהאב.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗