Audio8-TTS-Preview-0.1b

מה זה

המודל מבוסס על רשת יוצרת של כ־170 מיליון פרמטרים לצד מפענח קודק נפרד של כ־120 מיליון פרמטרים, מה שמסתכם במערכת כוללת קטנה בהרבה ממודלי הקול הנפוצים. המבנה שלו מפוצל לשני מסלולים, מסלול איטי לחיזוי טוקנים סמנטיים ומסלול מהיר שמייצר את מקטעי הקול בהתבסס עליהם.

בבדיקות השגיאה באנגלית ובסינית הוא מציג שיעורי שגיאה נמוכים שמקבילים למודלים ענקיים של כמה מיליארדי פרמטרים. עם זאת, מדד הדמיון לקול המקורי בשכפול עומד על 56.7 אחוז באנגלית ו־68.2 אחוז בסינית, תוצאה נמוכה בבירור מזו של מערכות כבדות יותר, כך שהוא קורא היטב את הטקסט אבל מחקה את גוון הקול בצורה פחות מדויקת.

מתאים ל

• הקראת טקסטים מקומית על CPU

  גרסת המעבד תופסת פחות מחצי גיגה זיכרון ומאפשרת דיבוב אנגלית בלי שרת גרפי ייעודי.

• שכפול קול בסיסי לאפליקציות

  מתאים למוצרים עם תקציב חומרה נמוך שמחפשים חיקוי קול מהיר ולא דורשים התאמה מושלמת.

• ממשקי קול מקבילים בסינית

  מציג שיעור שגיאה של 1.13 אחוז בסינית בתוך מעטפת פרמטרים זעירה.

איפה זה נופל

המודל נבנה כגרסת תצוגה מקדימה ומכוון בעיקר לאנגלית ולסינית. שפות אחרות כמו צרפתית, גרמנית, ספרדית, איטלקית, יפנית או קוריאנית מציגות אחוזי שגיאה גבוהים בהרבה, שמגיעים ליותר מ־14 אחוז באיטלקית. עברית כלל לא נתמכת כאן.

איכות הפלט והיציבות שלו נפגעות מאוד אם מקטע הקול שמשמש כדוגמה לשכפול ארוך מדי, כולל רעשי רקע, או אם התמלול שלו אינו תואם באופן מושלם לנאמר בו.

אותה משפחה

Audio8-TTS יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המודל פועל בסביבת פייתון מעל גרסה 3.11 עם חבילות PyTorch וטרנספורמרס, ודורש הרצת קוד מרוחק בגלל הארכיטקטורה הייחודית שלו. מומלץ להשתמש במאיץ גרפי מבוסס קודה להרצה רגילה.

למי שרוצה להימנע מחומרה יקרה, יש גרסת אינטגרציית מעבד מומרת ב־ONNX INT8 שתופסת כ־0.4 גיגה־בייט זיכרון בלבד על לינוקס x86_64 ומספקת שירות קול בלי להסתמך על PyTorch. שווה לשלם ל־API חיצוני רק אם אתם חייבים שכפול קול ברמת דיוק גבוהה במיוחד או אם השפה שלכם אינה אנגלית או סינית.

from transformers import pipeline

pipe = pipeline("text-to-speech", model="Edge0/Audio8-TTS-Preview-0.1b")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 1.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• codec.pth1.3 GB
• model.safetensors339.6 MB
• tokenizer.json5.9 MB
• tokenizer_config.json848.3 KB
• 20260729-124515.jpeg72.6 KB
• modeling_arktts.py42.0 KB
• modeling_arktts_codec.py20.1 KB
• processing_arktts.py11.7 KB
• README.md10.6 KB
• configuration_arktts.py8.0 KB
• special_tokens_map.json7.5 KB
• LICENSE7.0 KB
• config.json2.7 KB
• chat_template.jinja1.7 KB
• .gitattributes1.5 KB
• preprocessor_config.json253 B
• processor_config.json206 B
• generation_config.json167 B

הרישיון

הרישיון הוא רישיון קהילתי ייעודי של Audio8. שימוש אישי, מחקרי וחינוכי פתוח בחינם. שימוש מסחרי מותר בחינם רק לחברות וישויות שההכנסה השנתית הכוללת שלהן נמוכה משני מיליון דולר. ארגון שמכניס סכום כזה ומעלה מחויב לקבל רישיון מסחרי נפרד בכתב מהיוצרים.

הרישיון המלא בעמוד המודל ↗