Kokoro-82M-v1.1-zh

מה זה

הגרסה הזו נבנתה על בסיס ארכיטקטורת StyleTTS 2 יחד עם ISTFTNet כמפענח ישיר, בלי דיפוזיה ובלי אנקודר נפרד. המפתחים אימנו אותו במשך 120 שעות על כרטיס A100 בעלות זעומה של 110 דולר, כשהדגש המרכזי כאן הוא הוספת מאה דוברים בסינית מתוך מאגר מקצועי של חברת LongMaoData.

לצד הסינית נוספו שלוש שעות בלבד של מידע סינתטי באנגלית עם שלושה קולות ספציפיים. בשונה מגרסה 1.0 הקודמת שהכילה שמונה שפות, כאן המאמנים השאירו בצד את שאר הדאטה וצמצמו את השפות לשתיים בלבד כדי לאסוף משוב מוקדם על טוקניזציה וקולות חדשים.

מתאים ל

• הקראת טקסט בסינית מקומית

  מתאים לשילוב באפליקציות מקומיות שדורשות מבחר רחב של מאה דוברים בסינית בנפח אחסון מינימלי.

• עוזר קולי במכשיר קצה

  מבנה מפענח קל משקל של 82 מיליון פרמטרים שרץ מהר בלי תלות בחיבור רשת רציף או בשרתים יקרים.

• בדיקת טוקניזציה חדשה

  מתאים למפתחי קול שרוצים לבחון את שיטת הטוקניזציה וההתנהגות של הארכיטקטורה על שמע סינתטי.

איפה זה נופל

הגרסה הזו אינה שדרוג ישיר של גרסה 1.0 אלא שחרור מוקדם וניסיוני. המפתחים הסירו ממנה את רוב השפות והקולות הקודמים, ולמעשה אין בה תמיכה בעברית או בשפות אירופיות מלבד שלוש שעות סינתטיות באנגלית. בנוסף, השימוש במידע סינתטי שנאסף ממיקור המונים עלול להניב איכות לא אחידה, כך שחובה להאזין לפלט לפני שמשלבים אותו בזרימת עבודה אמיתית.

איך מריצים

המשקל הכולל של הקבצים עומד על 376 מגה בלבד, כך שלא צריך שרתי ענק או חומרה מיוחדת כדי להרים אותו, וכל מעבד מודרני ממוצע יכול להריץ אותו מקומית. ההתקנה דורשת את חבילת kokoro, חבילת misaki לתמיכה בסינית, soundfile והתקנה מקומית של espeak-ng ברמת מערכת ההפעלה.

אם אתם צריכים להקריא טקסט בסינית בעלויות אפסיות ובלטנסי נמוך, הרצה עצמית כאן עדיפה בהרבה על תשלום לספקי ענן. מנגד, אם אתם מחפשים קולות במגוון שפות נוספות ולא רוצים לתחזק תלויות מערכת של עיבוד שמע, API מסחרי יחסוך לכם התעסקות.

pip install -U huggingface_hub
hf download hexgrad/Kokoro-82M-v1.1-zh

הקבצים

112 קבצים במאגר, 376 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• kokoro-v1_1-zh.pth327.2 MB
• samples/HEARME_en.wav4.5 MB
• samples/HEARME_zf_001.wav4.3 MB
• samples/HEARME_zm_010.wav4.3 MB
• voices/af_maple.pt523.4 KB
• voices/bf_vale.pt523.4 KB
• voices/af_sol.pt523.4 KB
• voices/zm_100.pt523.3 KB
• voices/zf_001.pt523.3 KB
• voices/zf_002.pt523.3 KB
• voices/zf_003.pt523.3 KB
• voices/zf_004.pt523.3 KB
• voices/zf_005.pt523.3 KB
• voices/zf_006.pt523.3 KB
• voices/zf_007.pt523.3 KB
• voices/zf_008.pt523.3 KB
• voices/zf_017.pt523.3 KB
• voices/zf_018.pt523.3 KB
• voices/zf_019.pt523.3 KB
• voices/zf_021.pt523.3 KB
• voices/zf_022.pt523.3 KB
• voices/zf_023.pt523.3 KB
• voices/zf_024.pt523.3 KB
• voices/zf_026.pt523.3 KB
• voices/zf_027.pt523.3 KB
• voices/zf_028.pt523.3 KB
• voices/zf_032.pt523.3 KB
• voices/zf_036.pt523.3 KB
• voices/zf_038.pt523.3 KB
• voices/zf_039.pt523.3 KB
• voices/zf_040.pt523.3 KB
• voices/zf_042.pt523.3 KB
• voices/zf_043.pt523.3 KB
• voices/zf_044.pt523.3 KB
• voices/zf_046.pt523.3 KB
• voices/zf_047.pt523.3 KB
• voices/zf_048.pt523.3 KB
• voices/zf_049.pt523.3 KB
• voices/zf_051.pt523.3 KB
• voices/zf_059.pt523.3 KB

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי הקוד והפצה חוזרת של המשקלים והתוכנה ללא תמלוגים, בתנאי ששומרים על הודעות זכויות היוצרים ומצרפים עותק של הרישיון המקורי בכל מוצר שאתם משחררים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗