OuteTTS-0.1-350M

מה זה

במקום לתפור רשת נפרדת לטקסט ורשת נפרדת לאודיו, OuteAI לקחו ארכיטקטורת LLaMa של 362 מיליון פרמטרים ואימנו אותה לחזות טוקנים של קול בדיוק כמו שהיא חוזה מילים. תהליך העבודה מפרק את האודיו לטוקנים דרך WavTokenizer בקצב של 75 טוקנים לשנייה, נעזר ביישור מילים בשיטת CTC forced alignment, ומייצר דיבור ישירות מתוך הפרומפט.

הגישה הזו נותנת לכם יכולת לשכפל קול מקובץ שמע קצר וטקסט תואם, תוך שימוש במודל ששוקל 698 מגה בייט בלבד. הבסיס נשען על נתוני LibriTTS-R ו־MLS, כשהאימון ממוקד באנגלית בלבד. זה ניסוי מעניין שמוכיח שרשת שפה רגילה לחלוטין מסוגלת לדבר, אם כי בגודל הזה היא עדיין מועדת לשגיאות בסיסיות בהגייה וברצף.

מתאים ל

• ניסויי שכפול קול מקומיים

  מאפשר לבדוק שכפול קול מקובץ שמע בסיסי ישירות על המחשב, בלי לשלוח מידע לשרת חיצוני.

• הקראת משפטים קצרים באופליין

  מתאים למערכות פשוטות שצריכות להשמיע חיווי קולי קצר באנגלית על חומרה חלשה בלי רשת.

• מחקר על מודלי שפה לאודיו

  פלטפורמה נוחה וקלה לבחינת ארכיטקטורת LLaMa שמייצרת טוקנים קוליים ישירות מפרומפט טקסטואלי.

איפה זה נופל

היוצרים מצהירים בגלוי שמדובר בגרסת ניסוי ראשונית 0.1, והגודל הזעיר גובה מחיר כבד. המודל נוטה להשמיט מילים, להכניס מילים שלא היו בטקסט, או לעוות אותן לחלוטין. הוא תומך במחרוזות בלבד, מתקשה עם משפטים ארוכים, ורגיש מאוד להגדרת הטמפרטורה. בדוגמאות שלהם רואים שטמפרטורה של 0.1 גרמה לו להיכשל במעקב אחרי הטקסט, ורק העלאה ל־0.7 ייצבה את הדיבור. נוסף לכך, אין שום תמיכה בעברית.

אותה משפחה

OuteTTS-0.1 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו מתקינים את החבילה outetts וטוענים את המודל דרך פייתון עם ממשק Hugging Face או בגרסת GGUF דרך llama.cpp. בגלל הגודל הקומפקטי שלו, הוא לא דורש כרטיס גרפי יקר ומסוגל לרוץ ישירות על מעבד רגיל של מחשב נייד או מאיץ בסיסי מאוד בלי לתפוס זיכרון עבודה.

מי שרוצה לשלב דיבור אמין במוצר חי יעדיף לשלם ל־API חיצוני כמו ElevenLabs. המודל הזה מתאים כרגע לפיתוח מקומי, בדיקות רעיון, או פרויקטים אישיים שחייבים לפעול אופליין ובלי עלויות שוטפות.

pip install -U huggingface_hub
hf download OuteAI/OuteTTS-0.1-350M

הקבצים

14 קבצים במאגר, 698 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors724.0 MB
• tokenizer.json5.3 MB
• tokenizer_config.json973.4 KB
• samples/4.wav352.1 KB
• samples/5.wav245.8 KB
• samples/6.wav243.9 KB
• samples/1.wav188.9 KB
• samples/2.wav163.9 KB
• special_tokens_map.json83.1 KB
• samples/3.wav60.2 KB
• README.md10.1 KB
• .gitattributes1.5 KB
• config.json744 B
• generation_config.json111 B

הרישיון

הפרויקט מופץ ברישיון cc-by-4.0. מותר להשתמש בו לצרכים מסחריים ופרטיים, לשנות אותו, ולשלב אותו בקוד סגור, כל עוד נותנים קרדיט ברור ליוצרים. המפתחים מסירים כל אחריות לתקלות או נזקים שייגרמו מהשימוש.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗