SparkTTS

מה זה

בדף הזה מזינים טקסט להקראה, ומקבלים קובץ שמע מסונתז. יש כאן שני מצבי עבודה עיקריים. הראשון הוא שכפול קול, שבו מעלים או מקליטים קטע קול קצר יחד עם התמלול המדויק שלו, והמודל מייצר את הטקסט החדש באותו גוון דיבור. המצב השני מאפשר ליצור דובר וירטואלי חדש לגמרי, כשאתם קובעים ידנית מאפיינים כמו מגדר, גובה צליל וקצב דיבור.

מאחורי הקלעים רץ המודל Spark-TTS-0.5B, שמבוסס כולו על ארכיטקטורת Qwen2.5. במקום להשתמש במודלי ייצור נפרדים כמו flow matching, הוא מפענח שמע ישירות מטוקנים של דיבור שהמודל הלשוני מייצר. הדוגמאות בפרויקט מציגות חיקויים של דמויות ואישים מוכרים באנגלית ובסינית, כולל דונלד טראמפ, ג'ק מא ודמויות ממשחקים.

מתאים ל

• שכפול קול מאודיו קצר

  מעלים קטע דיבור ותמלול באנגלית, ומפיקים משפטים חדשים באותו סגנון קול ללא אימון מוקדם.

• הפקת דיבור וירטואלי

  מגדירים מגדר, גובה צליל ומהירות, ומייצרים קריינות מותאמת אישית ישירות מטקסט כתוב.

• בדיקת המודל Spark-TTS

  התנסות ביכולות המודל 0.5B ישירות מהדפדפן לפני שמורידים ומגדירים אותו מקומית על המחשב.

איפה זה נופל

המודל תומך באנגלית ובסינית בלבד, כך שאין מה לחפש כאן תמיכה בעברית. בנוסף, מדובר בהדגמה לא רשמית שרצה על מעבד חלש, כך שחוויית השימוש והמהירות אינן מייצגות ביצועים של הרצה מקומית על כרטיס גרפי. אם לא תספקו תמלול מדויק לקובץ השמע שהעליתם, איכות השכפול תיפגע.

איך משתמשים

מזינים טקסט, מעלים הקלטת ייחוס אם רוצים שכפול או בוחרים מאפייני קול, ולוחצים על כפתור ההפקה. היישום רץ על מעבד בסיסי בלבד מסוג cpu-basic, ולכן הסינתזה תיקח זמן מורגש, בטח ביחס להרצה על כרטיס מסך. אין צורך בהרשמה או התחברות כדי להתחיל, אבל כשיש עומס משתמשים עלול להיווצר תור בעיבוד.

הרישיון

הפרויקט והמודל מופצים תחת רישיון apache-2.0. הרישיון מאפשר שימוש חופשי, כולל שימוש מסחרי והתאמה של הקוד. עם זאת, התוכן שאתם מעלים מועבר לעיבוד בשרתי Hugging Face, ולכן לא מומלץ להעלות הקלטות קול רגישות או פרטיות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗