parler-tts-mini-v1

מה זה

המודל ממיר טקסט לדיבור באנגלית על בסיס אימון של 45 אלף שעות אודיו. הייחוד כאן הוא השליטה. במקום לבחור רק קובץ קול מוכן, אתם מתארים במילים איך הדובר צריך להישמע, כולל מגדר, מהירות דיבור, גובה קול, הד ואפילו רמת רעש ברקע. כדי לייצר עקביות, שילבו בו 34 דוברים קבועים עם שמות מוגדרים, כך שאפשר לחזור לאותו קול בדיוק על ידי ציון השם בתיאור.

מדובר בשחזור פתוח לחלוטין של מחקר מבית Stability AI ואוניברסיטת אדינבורו. בשונה מפרויקטים סגורים או סמי פתוחים, כאן שוחררו המשקלים, קוד האימון וקוד עיבוד הנתונים. בגודל של כ־878 מיליון פרמטרים, הוא מציע פשרה טובה בין איכות פלט לבין צריכת משאבים סבירה.

מתאים ל

• הפקת קריינות מותאמת

  מאפשר לשלוט ברמת ההד, המהירות והרעש כדי להתאים את הקול המוקלט לסצנה בלי עריכת סאונד.

• דיבוב דמויות קבועות

  34 הדוברים המובנים מאפשרים לייצר רצף קולי אחיד לאותה דמות לאורך קטעי טקסט שונים.

• אימון קולות חדשים

  הקוד הפתוח וכלי עיבוד הנתונים מאפשרים להמשיך את האימון על מאגרי אודיו ייעודיים משלכם.

איפה זה נופל

הוא יודע לדבר רק באנגלית, כך שלעברית הוא לא רלוונטי בכלל. איכות הפלט תלויה לחלוטין בניסוח של תיאור הקול. אם לא תוסיפו הנחיות כמו סאונד נקי מאוד, אתם עלולים לקבל אודיו עם רעשי רקע מוזרים או אינטונציה מקוטעת. פיסוק משפיע מאוד על זרימת המשפט, ומחייב בדיקה ידנית לפני שמשלבים אותו במערכת אוטומטית.

אותה משפחה

parler-tts-mini יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקלים תופסים כ־3.3 גיגה בייט בדיוק float32, כך שכרטיס מסך ביתי עם 8 עד 12 גיגה זיכרון יריץ אותו בלי בעיה. ההתקנה דורשת משיכה ישירה ממאגר הגיטהאב של הפרויקט ומסתמכת על ספריית transformers. כדי להגיע לביצועים סבירים בזמן אמת, מומלץ להפעיל אופטימיזציות כמו SDPA, קומפילציה בטורץ׳ והזרמת אודיו במקום להמתין לקובץ המלא.

אם אתם צריכים רק שירות הקראה פשוט לאפליקציה פנימית ולא רוצים לתחזק שרת עם GPU, כנראה שעדיף לשלם לפי שימוש ל־API מוכן. המודל הזה משתלם כשרוצים שליטה מלאה על מאפייני האודיו, פרטיות מלאה או כשרוצים לאמן אותו הלאה על דאטה משלכם.

from transformers import pipeline

pipe = pipeline("text-to-speech", model="parler-tts/parler-tts-mini-v1")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 3.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors3.5 GB
• tokenizer.json2.4 MB
• spiece.model791.7 KB
• tokenizer_config.json20.8 KB
• config.json6.9 KB
• README.md6.7 KB
• special_tokens_map.json2.5 KB
• handler.py1.6 KB
• .gitattributes1.5 KB
• generation_config.json265 B
• preprocessor_config.json234 B
• requirements.txt49 B

הרישיון

רישיון apache-2.0 מתיר שימוש חופשי לחלוטין, כולל שימוש מסחרי מלא, שינוי הקוד והפצה פנימית או חיצונית. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים ומסמך הרישיון המקורי בתוך המוצר שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗