Kokoro-82M

קוד פתוח

hexgradapache-2.02024-12-26

text-to-speech
en

המרת טקסט לדיבור במשקל 346 מגה בייט בלבד. הוא מספק סאונד טבעי שמתחרה במודלים כבדים בהרבה, ורץ בקלות כמעט על כל מכונה בלי לשרוף תקציב.

346 MBמשקל הקבצים
11,529,925הורדות בחודש
6,840לייקים

מה זה

המודל מבוסס על הארכיטקטורות StyleTTS 2 ו־ISTFTNet, בתצורת decoder בלבד וללא רכיבי diffusion. עם 82 מיליון פרמטרים, הוא מייצר קובצי אודיו בקצב דגימה של 24,000 הרץ ישירות מטקסט. האימון כולו נשען על כמה מאות שעות שמע ברישוי חופשי, תוויות פונטיות ונתונים סינתטיים ממודלים סגורים, בעלות חישוב זעומה של כאלף דולר.

בגרסה העדכנית, v1.0, יש תמיכה ב־8 שפות ו־54 קולות שונים, קפיצה משמעותית לעומת גרסת הבסיס שהכילה קולות בודדים. השילוב בין גודל זעיר להיעדר מנגנוני דיפוזיה איטיים מפיק זמני תגובה מהירים ביותר. הוא נותן איכות קולית שלא נופלת ממערכות ענק מסחריות, ברמת יעילות שמתאימה לקריאות בזמן אמת.

מתאים ל

הקראת מאמרים באנגלית
משקל של 346 מגה בייט בלבד מאפשר להריץ אותו מקומית על שרת צנוע ולהקריא טקסטים ארוכים במהירות ובקול טבעי.
עוזרי קול עם שיהוי נמוך
ארכיטקטורת ללא diffusion מייצרת שמע מהיר מאוד שמתאים למערכות שיחה שחייבות להחזיר תגובה קולית מיידית.
קריינות אוטומטית בענן
עלות של פחות משישה סנט לשעת שמע ב־API הופכת הפקת דיבוב לכמויות תוכן גדולות למהלך זול במיוחד.

איפה זה נופל

למרות ההבטחה לריבוי שפות בגרסה האחרונה, תמיכה בעברית אינה קיימת כאן, והכרטיס מציין שפות אחרות בלבד. כמו כן, השימוש בכלי תלוי בספריית espeak-ng ברמת מערכת ההפעלה, מה שמקשה על הטמעה בסביבות סגורות או קונטיינרים רזים ללא תלויות חיצוניות. חשוב לבדוק את התנהגות הקולות עם שמות משתמש, מונחים טכניים וסימני פיסוק מורכבים לפני שמחברים אותו לממשק משתמש קריטי.

שאלות
נפוצות

האם המודל תומך בהקראת טקסט בעברית?

לא. המודל אומן על שפות אחרות ולא כולל תמיכה באותיות עבריות או פונטיקה מקומית. ניסיון להזין טקסט בעברית לא יפיק שמע תקין.

האם מוכרחים כרטיס מסך כדי להפיק דיבור בזמן סביר?

אין חובה במעבד גרפי ייעודי. בזכות גודל של 82 מיליון פרמטרים, המודל רץ בצורה חלקה גם על מעבדי מחשב סטנדרטיים.

איך מריצים

המשקל הכולל של הקבצים עומד על 346 מגה בייט, כך שאין צורך במעבדים גרפיים יקרים כדי להריץ אותו. הוא פועל היטב על מעבדי מחשב רגילים, ודורש התקנה פשוטה של ספריית פייתון לצד כלי מערכת חיצוני כמו espeak-ng וספריית misaki לטיפול בפונטיקה.

אם אתם צריכים שירות מנוהל בלי לתחזק שרתים, ספקי ענן כמו Replicate ו־DeepInfra מתמחרים אותו בפחות מדולר למיליון תווים, או פחות משישה סנט לשעת אודיו מופקת. כשמדובר בנפחי עבודה נמוכים או משתנים, הפנייה לממשק חיצוני כזה חוסכת התעסקות בתשתיות במחיר זניח.

pip install -U huggingface_hub
hf download hexgrad/Kokoro-82M

הקבצים

72 קבצים במאגר, 346 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש במודל, לשנות אותו, להטמיע אותו במוצרים מסחריים ולהפיץ אותו חופשי, כל עוד שומרים על תנאי הרישיון המקוריים ומתן הקרדיט הנדרש למפתחים.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗