MeloTTS-English

קוד פתוח

myshell-aimit2024-02-29

transformers
text-to-speech
ko
endpoints_compatible

הפיכת טקסט אנגלי לדיבור באיכות גבוהה בלי להחזיק כרטיס מסך יקר. זה מודל קל משקל שמיועד לייצר קולות בזמן אמת גם על מעבד רגיל.

198 MBמשקל הקבצים
191,202הורדות בחודש
315לייקים

מה זה

הפרויקט הזה מגיע משיתוף פעולה בין חוקרים מ־MIT, אוניברסיטת צ'ינגhua ו־MyShell, והוא בנוי על בסיס ארכיטקטורות מוכרות כמו VITS ו־Bert-VITS2. המטרה כאן היא לא עוד מודל ענק שדורש חוות שרתים, אלא כלי קומפקטי של 198 מגה-בייט שמתמקד באנגלית עם כמה מבטאים שונים: אמריקאי, בריטי, הודי ואוסטרלי.

הייחוד שלו הוא מהירות הריצה. בזמן שמודלים כבדים דורשים GPU חזק כדי לא לייצר השהיה מורגשת, כאן המפתחים כיוונו ישירות להסקה בזמן אמת על גבי מעבד. הוא מתאים למי שצריך להקריא טקסט באנגלית באפליקציה מקומית או בשרת צנוע בלי להסתמך על חיבור לרשת חיצונית.

מתאים ל

הקראת טקסט על CPU
מאפשר לייצר שמע באנגלית בזמן אמת על שרתים בסיסיים בלי צורך בחומרת GPU ייעודית.
מערכות מענה קולי באנגלית
מציע מבטאים שונים כמו בריטי, הודי ואוסטרלי להתאמה קולית לקהל היעד של המוצר.
יישומי שולחן עבודה מקומיים
תופס פחות מ־200 מגה-בייט זיכרון ומתאים להטמעה ישירה בתוכנות שרצות אצל משתמשי קצה.

איפה זה נופל

המודל הזה מיועד לאנגלית בלבד, ואין לו שום תמיכה בעברית. אם הטקסט כולל מילים בעברית, שמות מקומיים או שילוב שפות, הוא לא יידע להתמודד איתם. בנוסף, בכרטיס המודל מוזכרת גרסת MeloTTS-English-v2, מה שרומז שהגרסה הנוכחית היא גרסה מוקדמת יותר שעשויה להיות פחות מדויקת בהגייה שלה.

שאלות
נפוצות

האם המודל תומך בהקראת טקסט בעברית?

לא. המודל הוכשר ומיועד לאנגלית בלבד, עם אפשרויות למבטאים שונים בשפה הזו. הוא לא כולל תמיכה באותיות עבריות ולא יפיק דיבור בעברית.

האם אני חייב כרטיס מסך של אנבידיה כדי להשתמש בו?

לא, וזה אחד היתרונות הבולטים שלו. המודל שוקל 198 מגה-בייט בלבד ותוכנן לעבוד בזמן אמת ישירות על מעבד רגיל של מחשב או שרת.

איך מריצים

בגלל המשקל הנמוך של 198 מגה-בייט וארבעה קבצים בלבד, אפשר להריץ אותו כמעט על כל שרת פשוט, מחשב נייד או אפילו מכונות פיתוח חלשות בלי לגעת ב־GPU. הוא תומך בהרצה מקומית על לינוקס ו־macOS דרך ספריית transformers.

אם המוצר שלכם צריך להשמיע משפטים בודדים פעם ביום, יכול להיות שנוח יותר לפנות ל־API מנוהל כמו זה שבאתר MyShell או בשירותי ענן אחרים כדי לא לתחזק שרת. אבל ברגע שיש נפח תנועה קבוע או צורך בזמן תגובה מיידי בלי עלויות קריאה, הרצה עצמית על מעבד רגיל היא בחירה פשוטה וזולה.

from transformers import pipeline

pipe = pipeline("text-to-speech", model="myshell-ai/MeloTTS-English")
print(pipe("שלום"))

הקבצים

4 קבצים במאגר, 198 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון MIT מלא. אפשר לקחת את הקוד והמשקולות, לשלב אותם במוצר מסחרי, למכור שירות שמבוסס עליהם או להפיץ אותם הלאה, בלי לשלם תמלוגים ובלי לפתוח את קוד המקור שלכם. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית.

שימוש מסחרי
שינוי הקוד
הפצה מחדש

הרישיון המלא בעמוד המודל ↗