Zonos-v0.1-transformer

מה זה

המודל מאומן על מעל 200 אלף שעות של דיבור ומשתמש בארכיטקטורת טרנספורמר שמנבאת טוקנים של קודק אודיו אחרי עיבוד פונטי עם eSpeak. הוא יודע לשכפל קול על בסיס דגימה של עשר עד שלושים שניות, ומאפשר לקבוע ישירות מהירות דיבור, שינויי גובה צליל, איכות שמע ומצבי רוח כמו כעס, שמחה, פחד ועצב.

בניגוד להרבה מודלים פתוחים שמוציאים דיבור מונוטוני או מוגבלים לתדר נמוך, כאן הפלט נשמר על 44 קילוהרץ בצורה טבעית. אפשר גם להזין קידומת שמע כדי לחקות התנהגויות קשות לשכפול כמו לחישה, ולא להסתפק רק בהטבעת קול יבשה.

מתאים ל

• דיבוב ושכפול קול

  יצירת קולות מותאמים אישית מדגימה קצרה באנגלית ובשפות נתמכות.

• הקראת טקסט רגשית

  הפקת שמע עם שליטה מדויקת בכעס, שמחה, עצב או מהירות הדיבור.

• הפקת פודקאסטים ומשחקים

  יצירת קבצי קול באיכות 44 קילוהרץ עם אפקטים כמו לחישות.

איפה זה נופל

הבעיה המרכזית לישראלים היא השפות. המודל תומך כרגע רק באנגלית, יפנית, סינית, צרפתית וגרמנית, כך שאין שום תמיכה בעברית. בנוסף, הוא מוגבל למערכות לינוקס בלבד ודורש חומרה של אנבידיה, בלי תמיכה במערכות אחרות כמו אפל סיליקון או ווינדוס ישירות.

איך מריצים

כדי להריץ אותו צריך לינוקס, עדיף אובונטו 22.04 או 24.04, כרטיס מסך מסדרה 3000 ומעלה של אנבידיה ולפחות 6 גיגהבייט של זיכרון גרפי. על כרטיס RTX 4090 הוא מגיע לקצב יצירה מהיר פי שניים מזמן אמת, וההתקנה דורשת את חבילת המערכת espeak-ng יחד עם פייתון או דוקר.

גרסת הטרנספורמר הזו היא אחת משתיים, כשהשנייה משתמשת בארכיטקטורת כלאיים. למי שאין כרטיס תואם של אנבידיה או שרת לינוקס ייעודי, זיפרה מציעה סביבת בדיקה באתר שלהם שחוסכת את ההקמה המקומית.

pip install -U huggingface_hub
hf download Zyphra/Zonos-v0.1-transformer

הקבצים

4 קבצים במאגר, 3.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors3.2 GB
• README.md5.5 KB
• config.json2.5 KB
• .gitattributes1.5 KB

הרישיון

הקוד והמשקלים שוחררו תחת רישיון אפאצ'י 2.0. מותר להשתמש בהם בפרויקטים מסחריים, לשנות את הקוד ולהפיץ אותו, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗