tada-3b-ml

מה זה

הארכיטקטורה של tada-3b-ml בנויה מעל Llama 3.2 3B עם 4.2 מיליארד פרמטרים. במקום לייצר אודיו לפי קצב פריימים קבוע, למשל חמישים פריימים לשנייה כמו ברוב מודלי הדיבור, הוא עובד בשיטת התאמה של אחד לאחד בין טוקן טקסטואלי לווקטור קולי. כל צעד מייצר את מקטע האודיו המלא של המילה או חלקה, וקובע את משך הזמן והאינטונציה בזמן אמת.

המודל כולל תמיכה במספר שפות, כולל ערבית, יפנית, גרמנית, צרפתית, ספרדית, איטלקית ופורטוגזית, לצד אנגלית. המבנה שלו מיועד גם להקראת טקסט וגם להמשך דיבור וטקסט בו זמנית, תוך שימוש במקודד נפרד שמבצע התאמה כפויה בין הקול למילים.

מתאים ל

• הקראת טקסט רב לשונית

  יצירת קולות דוברי ערבית, אנגלית או ספרדית מתוך טקסט כתוב בדיוק קולי גבוה.

• שיבוט קול עם פרומפט קצר

  טעינת דגימת קול חיצונית וחיקוי גוון הדיבור לפי סגנון הדובר המקורי.

• המשך שיחה בקול וטקסט

  ייצור המשך לשיחה קולית שבה המודל פולט במקביל את המילים הבאות ואת האודיו שלהן.

איפה זה נופל

החיסרון המרכזי הוא היעדר תמיכה בעברית ברשימת השפות של המקודד. בנוסף, מנגנון התמלול האוטומטי המובנה עובד אך ורק באנגלית. אם מזינים קול בשפה אחרת כמו ערבית או יפנית, חייבים לספק תמלול טקסטואלי מדויק של קטע האודיו באופן ידני. אם לא תעשו זאת, איכות ההתאמה תרד באופן משמעותי, והדיבור המופק עלול להישמע משובש ומקוטע.

איך מריצים

כדי להריץ אותו צריך כרטיס מסך עם לפחות 16GB זיכרון עבודה ייעודי, כי המודל עצמו שוקל 8.3GB ודורש הרצה לצד מקודד הקול בפורמט bfloat16. ההתקנה מתבצעת ישירות ממאגר הגיטהאב של Hume AI באמצעות pip, ויש לטעון את המודל דרך הקוד שלהם עם TadaForCausalLM.

אם אין לכם כרטיס מתאים עם תמיכת CUDA או שאתם מחפשים מענה מהיר בלי לנהל תלויות של קבצי קול ומודלים מרובי שפות, שימוש בשרת מנוהל חיצוני יהיה פשוט בהרבה מתחזוקת סביבת ההרצה הזו.

pip install -U huggingface_hub
hf download HumeAI/tada-3b-ml

הקבצים

13 קבצים במאגר, 8.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors3.9 GB
• final-graphics-polished/real-time.png70.8 KB
• final-graphics-polished/CER.png63.8 KB
• final-graphics-polished/MOS.png57.8 KB
• final-graphics-polished/naturalness.png53.8 KB
• model.safetensors.index.json46.1 KB
• README.md9.5 KB
• LICENSE7.7 KB
• final-graphics-polished/.DS_Store6.1 KB
• .gitattributes1.5 KB
• config.json1.2 KB
• generation_config.json155 B

הרישיון

המודל כפוף לרישיון הקהילתי של Meta עבור Llama 3.2. השימוש מותר למטרות מחקר ומסחר, אך מחייב קבלת אישור גישה מראש בעמוד הרשמי של מטא. אם המוצר שלכם עובר 700 מיליון משתמשים פעילים בחודש, תידרשו לבקש מהם רישיון מיוחד.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗