parler-tts-expresso

מה זה

אתם מקלידים שני דברים: הטקסט שאתם רוצים להשמיע ותיאור מילולי של הקול. התיאור מגדיר מי מדבר, באיזה קצב, ובאיזה טון, למשל דיבור עם התרגשות והדגשה. הפלט שמתקבל הוא קובץ אודיו לשמיעה ישירות בדפדפן.

מאחורי הקלעים רץ המודל parler-tts-mini-expresso, גרסה קטנה שמבוססת על מאגר הנתונים expresso להבעת רגשות בדיבור. הקוד משתמש במנרמל מספרים באנגלית מבית speecht5 כדי להמיר ספרות למילים כתובות לפני ההקראה, כך שההפקה אמורה להתמודד נכון עם מספרים בתוך המשפט.

בממשק משולבות דוגמאות מובנות עם טקסטים ותיאורי קול מוכנים מראש, שמדגימות את השליטה בסגנון כמו דיבור איטי, מהיר או מודגש. הן מאפשרות לראות מיד אילו ביטויים עובדים טוב עם המודל בלי לנחש ניסוחים.

מתאים ל

• הדגמת רגשות בדיבור

  בדיקה מהירה של האופן שבו תיאור טקסטואלי משפיע על נימת הדיבור ועל הקצב באנגלית.

• המרת טקסטים קצרים לאודיו

  הפקת קבצי דיבור לצורך שילוב בסרטונים או במצגות כשרוצים קול ספציפי ולא גנרי.

• בחינת מודל המיני

  הערכת היכולות של הגרסה המוקטנת לפני שמחליטים להוריד ולהריץ אותה בסביבה מקומית.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה תקועה בשגיאת ריצה ולא עובדת כרגע בדפדפן. מעבר לכך, היא מוגבלת לשפה האנגלית בלבד, בין היתר בגלל רכיב נירמול המספרים שמותאם רק לה, כך שאין מה לנסות להזין עברית. המודל שרץ פה הוא גרסת מיני, ולכן איכות הצליל והדיוק בביצוע הוראות מורכבות נמוכים יותר ממה שמפיקים מודלים מלאים של דיבור.

איך משתמשים

בממשק מזינים את הטקסט ואת תיאור הקול, או בוחרים דוגמה מוכנה, ולוחצים על Generate Audio. האפליקציה מוגדרת לרוץ על חומרת zero-a10g שמקצה מעבד גרפי לפי דרישה, ללא צורך בהתחברות או תשלום. עם זאת, נכון לעכשיו היא נמצאת במצב של שגיאת ריצה, כך שלחיצה על הכפתור לא תפיק שמע עד שהמפתחים יתקנו את התקלה בעמוד.

הרישיון

הרישיון של היישום לא דווח בקוד או בפרטי העמוד. המשמעות היא שאין הרשאה ברורה לגבי שימוש מסחרי בקבצי הקול שנוצרים או בקוד עצמו. כל עוד הסטטוס המשפטי לא פורסם, לא כדאי להסתמך על התוצרים בפרויקטים מסחריים.

הרישיון המלא ב־Hugging Face ↗