Zonos-v0.1-hybrid
קוד פתוחZyphraapache-2.02025-02-06
המודל מפיק דיבור בקצב דגימה של 44kHz מטקסט ודגימת קול קצרה. הוא מתאים למי שרוצה לשבט קולות ולשלוט ישירות ברגשות כמו כעס או פחד בלי להסתמך על ענן חיצוני.
- 1.7Bפרמטרים
- 3.1 GBמשקל הקבצים
- 1,364הורדות בחודש
- 1,107לייקים
מה זה
מדובר במודל טקסט לדיבור בגודל של 1.7 מיליארד פרמטרים, שאומן על יותר מ־200 אלף שעות של הקלטות בכמה שפות. הוא משתמש בנרמול טקסט ופונטיקה דרך eSpeak, ואז מייצר טוקנים של DAC באמצעות ארכיטקטורה היברידית שמספקת פלט ישיר באיכות גבוהה.
השליטה כאן מפורטת יחסית למה שמקובל במודלים פתוחים. אפשר להגדיר לו קצב דיבור, גובה צליל ואיכות שמע, וגם להזריק רגשות מוגדרים מראש כמו שמחה, עצב, פחד וכעס. מעבר להטמעת דובר רגילה מקובץ של עשר שניות, אפשר לתת לו תחילית אודיו כדי לחקות סגנונות מורכבים יותר כמו לחישה.
מתאים ל
- שכפול קול לפודקאסטים
הוא דורש דגימת קול של עשר עד שלושים שניות בלבד כדי לחקות דובר באנגלית או צרפתית.
- דיבוב משחקים עם רגש
אפשר להגדיר לו ישירות רגשות כמו כעס או פחד כדי לייצר דיאלוגים מגוונים בלי הקלטות אולפן.
- הפקת תוכן קולי מותאם אישית
התמיכה בתחיליות שמע מאפשרת לייצר אפקטים מיוחדים כמו דיבור בלחישה לפי דרישה.
איפה זה נופל
החיסרון המרכזי למפתחים בארץ הוא היעדר מוחלט של תמיכה בעברית. המודל תומך כרגע רק באנגלית, יפנית, סינית, צרפתית וגרמנית, כך שהוא לא יעזור למוצרים שמכוונים לקהל מקומי.
בנוסף, דרישות הסביבה קשיחות מאוד. הוא לא תומך רשמית בווינדוס או במק, וההסתמכות על eSpeak אומרת שכל שגיאה בפונטיקה תשפיע ישירות על איכות ההגייה.
שאלות
נפוצות
האם המודל מסוגל להקריא טקסטים בעברית?
לא. המודל אומן ותומך בחמש שפות בלבד: אנגלית, יפנית, סינית, צרפתית וגרמנית. ניסיון להזין לו עברית דרך מנוע ה־eSpeak לא יפיק תוצאה שמישה.
אפשר להריץ אותו על מחשב נייד רגיל ללא כרטיס מסך ייעודי?
לא מומלץ ואף לא נתמך רשמית. המפתחים מציינים במפורש צורך בלינוקס ובכרטיס מסך מודרני של אנבידיה עם לפחות 6GB זיכרון כדי להריץ את המודל.
איך מריצים
כדי להריץ אותו מקומית חייבים מערכת לינוקס, עדיף אובונטו, וכרטיס מסך של אנבידיה מסדרה 3000 ומעלה עם לפחות 6GB זיכרון גרפי. צריך להתקין את ספריית המערכת espeak-ng, ואז לעבוד עם uv או דוקר כדי לקמפל את התלויות ולהפעיל את הקוד דרך ספריית zonos.
על כרטיס RTX 4090 הוא מייצר שמע בערך פי שניים מהר יותר מזמן אמת. אם אין לכם חומרה ייעודית מתאימה של אנבידיה בסביבת הריצה, או שאתם עובדים על מק, עדיף לבדוק את ממשק הפלייגראונד שהחברה מציעה ברשת במקום להילחם בהתקנות.
pip install -U huggingface_hub hf download Zyphra/Zonos-v0.1-hybrid
הקבצים
4 קבצים במאגר, 3.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הקוד והמשקולות משוחררים תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והפצה פנימית או חיצונית, בתנאי ששומרים על הודעות זכויות היוצרים ומצרפים עותק של הרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים