breeze-tts-2-demo

מה זה

אתם מקלידים טקסט באנגלית או בסינית ומקבלים קובץ שמע. הממשק מחולק לשלוש לשוניות: יצירת קול חדש לפי תיאור מילולי, שכפול מדויק של קול מתוך הקלטת ייחוס עם תמלול, ושכפול קול תוך שינוי של הטון, הרגש והקצב באמצעות הוראות נוספות.

מאחורי הקלעים רץ המודל Breeze-TTS-2 לצד המודל Whisper-small של OpenAI, שפועל על המעבד ותפקידו לתמלל את קובצי השמע שאתם מעלים לייחוס. המערכת יודעת לשלב בתוך הדיבור גם אפקטים קוליים טבעיים לפי הוראות מפורשות בטקסט, כמו צחוק, אנחה, שיעול או כחכוח בגרון.

הממשק כולל דוגמאות מובנות בלשונית יצירת הקול, ששמורות במטמון ומאפשרות לשמוע מיד איך תיאורים מילוליים שונים מתורגמים לסגנונות דיבור בלי להמתין להרצה מלאה.

מתאים ל

• יצירת קולות לפי אפיון

  מגדירים במילים את גיל הדובר ואת סגנונו ומקבלים שמע באנגלית או בסינית בלי צורך בהקלטות מקור.

• שכפול קול קיים

  מעלים קטע שמע קצר עם תמלול ומייצרים הקראת טקסט חדש באותו הקול בדיוק.

• בימוי ושינוי טון בדיבור

  משכפלים קול של דובר מסוים תוך שליטה על רגש, מהירות וטון הדיבור לפי הוראות טקסטואליות.

איפה זה נופל

המודל תומך רק באנגלית ובסינית, כך שאין טעם לנסות להזין בו עברית. תגיות הקול המיוחדות, כמו צחוק או שיעול, מוגבלות לתחביר ספציפי בשתי השפות האלה בלבד.

בשכפול קול חובה לספק גם שמע וגם תמלול מדויק שלו. אם התמלול האוטומטי נכשל או לא מדויק, ההרצה תיעצר בשגיאה. בנוסף, חומרת ההדגמה מריצה את תמלול השמע על המעבד ולא על המאיץ הגרפי, דבר שמאט את תהליך השכפול בהשוואה להרצה מקומית מלאה.

איך משתמשים

בוחרים לשונית, מקלידים את הטקסט שרוצים להקריא ולוחצים על Generate. אם בחרתם בשכפול קול, צריך להעלות קובץ שמע ולספק גם את התמלול שלו, או לתת ל־Whisper לתמלל אותו. יש אפשרות לשנות בהגדרות המתקדמות את ערך ה־Seed לקבלת תוצאות שונות.

ההדגמה רצה על מאיץ מסוג zero-a10g שמקצה כוח עיבוד לפי דרישה. אין צורך בהתחברות או בהרשמה, אך אם המאיץ לא היה פעיל ייתכן שתחוו השהיה של כמה שניות עד שהחומרה מתעוררת.

הרישיון

הקוד פתוח תחת רישיון Apache-2.0, אך משקלי המודל Breeze-TTS-2 והתוצרים שנוצרים ממנו מוגבלים לשימוש מחקרי ולא-מסחרי בלבד. בעמוד ההדגמה עצמו לא דווח רישיון נפרד, ולכן חלות עליו ההגבלות של המודל.

הרישיון המלא ב־Hugging Face ↗