kitten-tts-nano-0.8-fp32

מה זה

מדובר במודל טקסט לדיבור בקוד פתוח עם 15 מיליון פרמטרים בלבד, שמבוסס על הארכיטקטורה של StyleTTS 2. הוא מפיק קובצי אודיו בקצב דגימה של 24kHz ומגיע עם שמונה קולות מובנים לבחירה: בלה, ג'ספר, לונה, ברונו, רוזי, הוגו, קיקי וליאו.

המשקל שלו, 57.3 מגה בייט בלבד בחמישה קבצים, מציב אותו בנישה של מודלים שמיועדים לעבוד מקומית בלי לגעת בתשתיות ענן כבדות. בעוד רוב מודלי הדיבור המודרניים דורשים משאבים רציניים, כאן הדגש הוא על קומפקטיות שמצליחה להפיק אודיו סביר לחלוטין מתוך זיכרון מינימלי.

מתאים ל

• התקני קצה ומחשבים זעירים

  הוא שוקל סביב 50 מגה ולא דורש מאיץ גרפי, מה שמאפשר לו לרוץ בקלות על חומרה חלשה.

• עוזרים קוליים מקומיים

  מייצר דיבור באנגלית משמונה קולות שונים בלי תלות ברשת ובלי לשלם לפי קריאה.

• יישומי שולחן עבודה פשוטים

  רץ ישירות מתוך סקריפט פייתון קצר ומייצר קובצי אודיו בפורמט 24kHz ללא הגדרות מסובכות.

איפה זה נופל

אין בכרטיס המודל שום אזכור לתמיכה בעברית, ולפי הדוגמאות הוא מכוון לאנגלית בלבד. אם תזינו לו טקסט מקומי, סביר להניח שתקבלו שגיאה או ג'יבריש מוחלט. בנוסף, עם 15 מיליון פרמטרים, הניואנסים והאינטונציות מוגבלים יחסית למודלי ענק, ואתם מוגבלים אך ורק לשמונה הקולות שהוגדרו מראש ללא יכולת שכפול קול בכרטיס.

איך מריצים

ההתקנה מתבצעת ישירות מגלגל פייתון שפורסם בגיטהאב של הפרויקט, ולאחר מכן טוענים את המשקלים דרך הספרייה הייעודית. אין צורך בכרטיס מסך, המודל תוכנן לעבוד על גבי מעבד רגיל, וקריאה לפונקציית הייצור שולפת את האודיו ישירות למערך שניתן לשמור עם soundfile.

בגודל כזה אין שום סיבה לשלם לספקי ענן על API חיצוני של הקראת טקסט, אלא אם אתם צריכים תמיכה בשפות נוספות או מגוון קולות שאין כאן. הריצה המקומית פשוטה וצורכת מעט מאוד זיכרון עבודה.

pip install -U huggingface_hub
hf download KittenML/kitten-tts-nano-0.8-fp32

הקבצים

5 קבצים במאגר, 57.3 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• kitten_tts_nano_v0_8.onnx56.8 MB
• voices.npz3.3 MB
• .gitattributes1.5 KB
• README.md739 B
• config.json688 B

הרישיון

רישיון apache-2.0 מתיר שימוש מסחרי חופשי לחלוטין, שינוי של הקוד והפצה מחדש. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים, בלי חובה לפתוח את הקוד של המוצר שבו שילבתם אותו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗