LuxTTS

מה זה

מדובר במודל טקסט לדיבור מבוסס ZipVoice שעבר זיכוך לארבעה צעדים בלבד, ונועד לתת מענה מהיר במיוחד לשכפול קול. בניגוד לרוב מודלי הדיבור שמייצרים פלט של 24kHz, כאן שילבו ווקודר של 48kHz לצד טכניקת דגימה משופרת שמחליפה את שיטת אוילר הרגילה, מה שאמור לספק צליל נקי וחד יותר ללא צריכת משאבים כבדה.

היתרון המרכזי מול מתחרים בקטגוריית המשקל הקל הוא שילוב המהירות והאיכות. המפתח טוען לביצועי שכפול קול שמשתווים למודלים שגדולים ממנו פי עשרה, יחד עם קצב יצירה שמגיע ליותר מפי 150 מזמן אמת על גבי מעבד גרפי בודד. זה אומר שאין צורך לחכות לעיבוד ארוך כדי לקבל קובץ שמע שלם.

מתאים ל

• שכפול קול באפליקציות מקומיות

  צורך פחות מג'יגה זיכרון וידאו, מה שמתאים להרצה על מחשבים אישיים ללא שרת חיצוני.

• הקראת שמע בזמן אמת

  מייצר דיבור בקצב של פי 150 מזמן אמת, מה שמונע שיהוי בממשקים אינטראקטיביים.

• הפקת פודקאסטים באנגלית

  פלט באיכות 48kHz מעניק חדות גבוהה יותר בהשוואה למודלים שמספקים 24kHz בלבד.

איפה זה נופל

החיסרון המרכזי עבור משתמשים בישראל הוא השפה. המודל מוגדר ומאומן עבור אנגלית בלבד, כך שאין כאן שום תמיכה בעברית ישר מהקופסה. בנוסף, מדובר במודל שעבר זיכוך לארבעה צעדים, מה שאמנם מקנה לו מהירות גבוהה, אך עשוי לגבות מחיר ביציבות ההגייה או בגמישות האינטונציה בטקסטים מורכבים במיוחד בהשוואה למודלי ענק.

איך מריצים

המשקל הכולל של הקבצים עומד על 1.1 ג'יגה בייט, והוא מתוכנן לעבוד בתוך פחות מגיגה בייט אחד של VRAM. המשמעות היא שתוכלו להריץ אותו כמעט על כל כרטיס מסך ביתי ישן בלי לחשוב פעמיים, ואפילו על מעבד רגיל הוא מתוכנן לרוץ מהר יותר מזמן אמת. קוד ההרצה המלא נמצא במאגר הגיטהאב של הפרויקט, ויש גם מחברת קולאב זמינה לבדיקה מהירה.

אם אתם צריכים שירות מקומי שרץ בקצה או רוצים לחסוך עלויות תשתית, אין שום סיבה לשלם ל־API חיצוני. לעומת זאת, אם יש לכם צורך בתמיכה בריבוי שפות או בתשתיות מנוהלות בלי לתחזק שרתים עצמאיים, פתרון ענן קיים יחסוך את כאב הראש.

pip install -U huggingface_hub
hf download YatharthS/LuxTTS

הקבצים

11 קבצים במאגר, 1.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.pt491.3 MB
• fm_decoder.onnx477.5 MB
• fm_decoder_int8.onnx124.7 MB
• vocoder/vocos.bin64.0 MB
• text_encoder.onnx17.6 MB
• text_encoder_int8.onnx5.6 MB
• tokens.txt2.6 KB
• .gitattributes1.5 KB
• README.md1.5 KB
• vocoder/config.yaml752 B
• config.json697 B

הרישיון

רישיון apache-2.0 מתיר שימוש מסחרי מלא, הפצה ושינוי של הקוד והמשקלים ללא תשלום תמלוגים. אתם יכולים לשלב אותו במוצר שלכם, בתנאי שאתם שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗