MeloTTS-Korean

קוד פתוח

myshell-aimit2024-02-29

transformers
text-to-speech
ko
endpoints_compatible

מודל המרת טקסט לדיבור בקוריאנית ששוקל פחות מ־200 מגהבייט. הוא מיועד למי שרוצה סינתזת קול מהירה בזמן אמת ישירות על המעבד בלי להסתמך על חומרה יקרה.

198 MBמשקל הקבצים
87,906הורדות בחודש
45לייקים

מה זה

הפרויקט הזה של MyShell מתמקד בהפקת דיבור בקוריאנית מתוך טקסט כתוב, כחלק מסדרת מודלים קטנים לשפות שונות. המימוש נשען על פיתוחים קודמים בעולם הקול הפתוח כמו VITS וגרסאותיו המאוחרות, במטרה לספק ביצועים שמישים על משאבים צנועים.

בגודל של 198 מגהבייט בלבד, המטרה כאן היא לא להתחרות במודלי ענק מרובי רמקולים ומלאי רגש, אלא לתת מענה מהיר. המפתחים מכוונים לכך שהעיבוד יוכל לרוץ בזמן אמת על מעבד רגיל, כך שאפשר להטמיע אותו בקלות בצד שרת או באפליקציות מקומיות בלי להחזיק כרטיס גרפי ייעודי.

מתאים ל

הקראת ממשק למשתמשים
משקל של 198 מגהבייט מאפשר תגובה מהירה לחיווי קולי בקוריאנית על גבי מעבד רגיל.
המרת טקסט מקומית לבוטים
מאפשר לייצר קבצי אודיו קצרים בקוריאנית בצד שרת בלי תלות ברשת חיצונית או כרטיסי מסך.
עזרי למידה בקוריאנית
הקוד מאפשר שליטה ישירה בקצב הדיבור, מה שמתאים להקראת משפטים בקצב איטי לתלמידים.

איפה זה נופל

המודל מוגבל אך ורק לשפה הקוריאנית ומגיע עם דובר יחיד לשפה הזו, כך שאין כאן אפשרויות גיוון לקולות שונים. בניגוד לגרסה הסינית של אותה סדרה שכוללת שילוב אנגלית, כאן לא מצוינת תמיכה בטקסט מעורב, וטקסט שאינו קוריאני עלול להישבר.

איכות הדיבור מתאימה בעיקר למשפטים ברורים ולא להקראת טקסטים ספרותיים או רגשיים מורכבים. אם המערכת שלכם דורשת שינויי אינטונציה חדים או עבודה עם שפות נוספות במקביל, תצטרכו לחפש פתרונות נפרדים.

שאלות
נפוצות

האם אני חייב כרטיס מסך כדי להריץ את הפרויקט הזה?

לא, המפתחים תכננו אותו במפורש לריצה בזמן אמת על מעבד רגיל. אפשר להגדיר את פרמטר החומרה לקוד כ־CPU ולהריץ אותו על שרתים פשוטים או מחשב מקומי.

האם אפשר להשתמש בו לטקסט שמשלב אנגלית וקוריאנית ביחד?

בניגוד לגרסה הסינית של המודל שכוללת תמיכה מוצהרת בטקסט מעורב, הכרטיס של הגרסה הקוריאנית אינו מציין יכולת כזו. סביר להניח שקריאת מילים באנגלית תישמע משובשת או תיכשל, ולכן כדאי לבדוק זאת לפני שילוב במערכת.

איך מריצים

ההרצה המקומית פשוטה ודורשת ייבוא של ספריית melo בפייתון, הגדרת השפה לקוריאנית ובחירת מכשיר הריצה. משקל הקבצים הנמוך מאפשר להריץ אותו בנוחות על כמעט כל מעבד סטנדרטי בלי צווארי בקבוק של זיכרון.

אם אתם צריכים רק לבדוק תאימות או לייצר דגימות בודדות, אפשר להשתמש בהדגמה הציבורית ברשת או בשירותי החברה במקום להגדיר סביבה מקומית. לשימוש שוטף במערכות ייצור, הגודל המזערי של הקבצים הופך את הריצה העצמאית לחסכונית בהרבה מפנייה ל־API חיצוני בתשלום.

from transformers import pipeline

pipe = pipeline("text-to-speech", model="myshell-ai/MeloTTS-Korean")
print(pipe("שלום"))

הקבצים

4 קבצים במאגר, 198 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא MIT מלא. מותר להשתמש בו בחופשיות לפרויקטים מסחריים ופרטיים, לשנות את הקוד ולהפיץ אותו הלאה, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אין כאן מגבלות על שימוש במוצרים סגורים.

שימוש מסחרי
שינוי הקוד
הפצה מחדש

הרישיון המלא בעמוד המודל ↗