parler-tts-large-v1

מה זה

במקום לשחק עם מזהי קול מספריים, מתארים במילים בדיוק איך הקריין צריך להישמע. כותבים אם רוצים קול מהיר, צרוד, עם הד או בלי רעשי רקע, והתוצאה נוצרת לפי התיאור. המודל אומן על 45 אלף שעות אודיו באנגלית, ומכיל 34 דוברים קבועים עם שמות שאפשר לבקש ישירות כדי לשמור על עקביות בין משפטים שונים.

ההבדל העיקרי מול מודלים קלים יותר הוא הנפח והדיוק של השליטה. המפתחים שחררו לא רק את המשקולות אלא גם את קוד האימון ועיבוד המידע. זה מאפשר לקחת את הבסיס הזה ולאמן אותו הלאה, במקום להישאר תלויים בתוצאות המקוריות בלבד.

מתאים ל

• הקראת פודקאסטים וספרים באנגלית

  34 הדוברים הקבועים מאפשרים לשמור על אופי קולי אחיד לאורך פרקים שלמים.

• יצירת דמויות למשחקים

  אפשר לבקש קול צרוד, מבוגר או מלא בהד ישירות מתוך שורת פרומפט פשוטה.

• קריינות למערכות פנימיות

  עובד כולו מקומית בלי תלות ברשת חיצונית ובלי לשלוח טקסטים לשרתי צד שלישי.

איפה זה נופל

המודל תומך באנגלית בלבד, כך שלעברית הוא פשוט לא רלוונטי כרגע בלי אימון מחדש. שליטה מלאה בפרוזודיה דורשת ניסוי וטעייה עם סימני פיסוק, וההבדלים בין תיאור טקסטואלי אחד לאחר יכולים להיות רגישים מאוד. בנוסף, מי שבוחר דובר אקראי עלול לקבל חוסר עקביות בין קטעים שונים באותו רצף.

איך מריצים

המשקל הכולל מגיע ל־8.7 גיגה בייט בדיוק float32, כך שחייבים כרטיס מסך עם זיכרון ייעודי סביר כדי לייצר אודיו בקצב נורמלי. המפתחים ממליצים להפעיל מנגנונים כמו SDPA, קומפילציה ב־PyTorch והזרמת אודיו כדי לקצר זמני תגובה. ההתקנה עצמה מתבצעת ישירות ממאגר הגיטהאב של הפרויקט עם pip ומבוססת על transformers.

אם אתם צריכים רק הקראה בסיסית ואין לכם שרת ייעודי, גרסת המיני של אותו פרויקט תהיה חסכונית בהרבה במשאבים. להרצה מקומית של הגרסה הזו נכנסים רק כשחייבים את מגוון השליטה הקולי או את השמות הספציפיים שהוטמעו בה.

from transformers import pipeline

pipe = pipeline("text-to-speech", model="parler-tts/parler-tts-large-v1")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 8.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors4.3 GB
• tokenizer.json2.4 MB
• spiece.model791.7 KB
• model.safetensors.index.json94.5 KB
• tokenizer_config.json20.8 KB
• config.json7.7 KB
• README.md6.7 KB
• special_tokens_map.json2.5 KB
• handler.py1.6 KB
• .gitattributes1.5 KB
• generation_config.json241 B
• preprocessor_config.json234 B
• requirements.txt49 B

הרישיון

רישיון apache-2.0 מתיר שימוש מסחרי חופשי, שינוי של הקוד והפצה מחדש. אין דרישה לפתוח את הקוד שלכם, וכל עוד מצרפים את הרישיון המקורי והודעת זכויות יוצרים, מותר לשלב אותו במוצר מסחרי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗