MeloTTS-Chinese

קוד פתוח

myshell-aimit2024-02-29

transformers
text-to-speech
ko
endpoints_compatible

המרת טקסט לדיבור בסינית שמשלבת מילים באנגלית בלי להישבר. הפתרון הזה שוקל פחות ממאתיים מגה בייט ורץ ישירות על המעבד בלי כרטיס גרפי.

198 MBמשקל הקבצים
57,764הורדות בחודש
104לייקים

מה זה

מדובר במודל הקראת טקסט שמיועד בעיקר לשפה הסינית, עם יכולת מובנית להתמודד עם שילוב של מונחים באנגלית בתוך המשפט. הבעיה המוכרת בהקראת סינית היא שברגע שנכנס מושג טכני או לועזי, מודלים פשוט מגמגמים או משתתקים. כאן המערכת מתמודדת עם טקסט מעורב באופן טבעי, והיא עושה את זה בקובץ ששוקל 198 מגה בייט בלבד על פני ארבעה קבצים.

הבסיס הטכנולוגי נשען על פיתוחים קודמים בעולם הקול הפתוח כמו VITS, VITS2 ופרויקט Bert-VITS2. השילוב הזה נותן איכות קול טובה בלי המשקל העצום של מודלים ענקיים שדורשים שרתים ייעודיים. הוא לא מתיימר לחקות כל מבטא בעולם, אבל הוא תופר בדיוק את הפינה של שיחה יומיומית או מקצועית בסינית שמכילה מונחים טכנולוגיים בינלאומיים.

מתאים ל

עוזר קולי ללימוד סינית
הקראת משפטים שמערבבים מונחים באנגלית בלי שהמערכת תיעצר על שמות מושגים.
הקראת ממשקים על חומרה חלשה
הרצה מקומית על מעבד רגיל של מחשב זול או שרת בסיסי ללא צורך בכרטיס מסך.
הקראת מאמרים טכנולוגיים
השמעת טקסטים מקצועיים בסינית שמלאים בראשי תיבות ובמונחי מחשוב באנגלית.

איפה זה נופל

המודל הזה מוגבל מאוד בהיקף שלו. הוא לא יודע להקריא עברית, והוא מתרכז אך ורק בסינית שמשלבת אנגלית. בנוסף, אף על פי שמטא הדאטה של הדף מסמן לפעמים שפות נוספות כמו קוריאנית, הקובץ הספציפי הזה נבנה סביב סינית, ולכל שפה אחרת תצטרכו להוריד משקלים נפרדים לגמרי. אין כאן אפשרות לשיבוט קול מיידי מתוך דגימה קצרה או משחק עם רגשות, אלא פלט בקול בודד ובמהירות שנקבעה מראש.

שאלות
נפוצות

חייבים שרת עם כרטיס מסך של אנבידיה בשביל להריץ אותו?

לא. המשקל שלו הוא 198 מגה בייט בלבד, והוא נבנה לעבוד בזמן אמת גם על מעבד רגיל. אפשר להריץ אותו מקומית על מחשב פיתוח פשוט בלי חומרה יקרה.

האם הוא מסוגל להקריא טקסטים בעברית?

בשום אופן לא. המודל הזה תומך בסינית ובשילוב מילים באנגלית בתוך המשפט בלבד, וכל שפה אחרת פשוט לא תעבוד.

איך מריצים

ההתקנה מתבצעת מקומית עם ספריית melo ייעודית ופייתון, והמשקל הזעיר אומר שאין שום צורך בכרטיס מסך מיוחד. אפשר להגדיר בהרצה שימוש במעבד רגיל לחלוטין, והיוצרים מציינים שהביצועים מהירים מספיק כדי לייצר שמע בזמן אמת בלי שום האצה גרפית.

בקוד עצמו אפשר לכוונן את מהירות הדיבור לפי צורך ולשמור ישירות לקובץ אודיו. אם אתם רק בודקים את העסק ולא רוצים להתקין סביבה מקומית, יש דמו ברשת ואפשרות להשתמש בשירות של MyShell, אבל למוצר אמיתי עדיף להריץ את הקבצים אצלכם בשרת פשוט ולחסוך תלות ברשת חיצונית.

from transformers import pipeline

pipe = pipeline("text-to-speech", model="myshell-ai/MeloTTS-Chinese")
print(pipe("שלום"))

הקבצים

4 קבצים במאגר, 198 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא MIT מלא. המשמעות פשוטה וישירה, מותר להשתמש במודל לפרויקטים מסחריים, לשנות אותו, להטמיע אותו בקוד סגור ולהפיץ אותו ללקוחות בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

שימוש מסחרי
שינוי הקוד
הפצה מחדש

הרישיון המלא בעמוד המודל ↗