LuxTTS — הדגמה

מה זה

אתם מזינים טקסט בתיבה ומעלים קובץ שמע שמשמש כדגימת הקול לחיקוי. הממשק מציע גם שליטה על פרמטרים טכניים כמו עוצמת שמע rms, משך דגימת הרפרנס, היסט זמן, מספר צעדים, מהירות הדיבור ותיבת סימון להחלקה. הפלט אמור להיות קובץ שמע מוגמר שמקריא את מה שכתבתם בקול שהזנתם.

מאחורי הקלעים רץ המודל LuxTTS של YatharthS מתוך חבילת zipvoice.luxvoice, שמתיימר להגיע למהירות של פי 150 מזמן אמת. הקוד עצמו לא כולל דוגמאות מובנות להאזנה מיידית, כך שחייבים להזין תוכן עצמאי כדי לבחון את התוצאה.

מתאים ל

• בדיקת שכפול קול מקומי

  הורדת הקוד והרצתו על מחשב עצמאי במקום להסתמך על ההדגמה השבורה ברשת.

• הקראת טקסטים מהירה

  יצירת קובצי שמע מתוך טקסט כתוב באמצעות מודל שאמור לייצר דיבור בקצב גבוה.

• דיבוב מותאם אישית

  ניסיון לחקות גוון קול מסוים על בסיס קובץ שמע קצר שמועלה למערכת.

איפה זה נופל

הבעיה המיידית היא שההדגמה שבורה לחלוטין ברמת השרת ולא מפיקה שום צליל. מעבר לזה, ההבטחה לביצועים של פי 150 מזמן אמת נשענת כנראה על חומרה חזקה, בעוד שהעמוד הזה מוקצה למעבד בסיסי בלבד. בלי תמיכה מוכחת בעברית בקוד או במודל, סביר להניח שהיא מיועדת לאנגלית בלבד.

איך מריצים

בפועל אין כרגע דרך להשתמש בה בדפדפן. המצב שלה מוגדר כשגיאת זמן ריצה, כך שהיא פשוט קורסת ולא נטענת. לפי ההגדרות היא יושבת על חומרת מעבד בסיסית בלבד, בלי מאיץ גרפי, ולא דורשת התחברות עם חשבון כשהיא פעילה.

pip install -U huggingface_hub
hf download YatharthS/LuxTTS

הקבצים

11 קבצים במאגר, 1.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.pt491.3 MB
• fm_decoder.onnx477.5 MB
• fm_decoder_int8.onnx124.7 MB
• vocoder/vocos.bin64.0 MB
• text_encoder.onnx17.6 MB
• text_encoder_int8.onnx5.6 MB
• tokens.txt2.6 KB
• .gitattributes1.5 KB
• README.md1.5 KB
• vocoder/config.yaml752 B
• config.json697 B

הרישיון

הפרויקט מפורסם תחת רישיון apache 2.0 שמאפשר שימוש חופשי בקוד, כולל התאמות ושימוש מסחרי. לגבי קובצי השמע והטקסטים שמעלים, הטיפול בהם תלוי במדיניות השרת שעליו ההדגמה מתארחת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗