Dia2-2B

מה זה

מדובר במודל דיבור שמתמקד בשיחות מרובות דוברים ובאינטראקציה חיה. הוא מתחיל להפיק אודיו כבר אחרי המילים הראשונות של הטקסט, ומסוגל לקבל דגימות שמע קודמות של הדוברים כדי לשמור על טון ורצף טבעי בשיחה. התיוג נעשה ישירות בטקסט באמצעות סימונים פשוטים של דובר ראשון ושני.

המשקל שלו עומד על כמעט שני מיליארד פרמטרים והוא נעזר בקודק Mimi של Kyutai כדי לייצר את גלי הקול. בשונה ממודלי הקראה מסורתיים שממירים פסקאות שלמות בקובץ אחיד, הוא מתוכנן כחלק ממנועי שיחה דו כיווניים, עם חלוקה לרמות דגימה וחותמות זמן ברמת מילה בקצב של כ־12.5 הרץ.

מתאים ל

• בוטים קוליים בזמן אמת

  יצירת תגובות קוליות מיידיות באנגלית ללא צורך להמתין לקבלת כל התשובה מהמודל הטקסטואלי.

• סימולציות דיאלוג

  הפקת שיחה בין שני דוברים שונים מאותו קובץ טקסט בעזרת תגיות דוברים מובנות.

• שכפול קול בשיחה

  התאמת סגנון הדיבור על ידי הזנת קטעי שמע קודמים של המשתמש ושל העוזר לתוך ההפקה.

איפה זה נופל

המודל מוגבל לשפה האנגלית בלבד, ואינו תומך בעברית. בנוסף, משך ההפקה מוגבל לחלוטין לתקרה של שתי דקות או 1500 צעדים, כך שהוא לא מתאים להקראת תוכן ארוך כמו ספרים או מאמרים. מעבר לכך, התוכנה מחייבת CUDA עדכני מאוד, מה שיכול לתסכל בסביבות תשתית ישנות.

איך מריצים

ההרצה המקומית דורשת כרטיס מסך עם דרייברים של CUDA בגרסה 12.8 לפחות. המודל שוקל 7.2 גיגה בייט בקבצים ומופעל בברירת מחדל בדיוק bfloat16, כך שתצטרכו כרטיס עם לפחות 12 עד 16 גיגה זיכרון כדי לטעון אותו, את הקודק ולבצע הסקה יציבה. הפרויקט מנוהל דרך מנהל החבילות uv ומציע ממשק שורת פקודה, קוד פייתון פשוט ואפליקציית Gradio.

יש למודל גם גרסה קטנה יותר של מיליארד פרמטרים שמתאימה למי שמוגבל במשאבים. אם אין לכם חומרה ייעודית עם מנהלי התקן מעודכנים, שווה לשקול פתרונות ענן, אבל שימו לב שכרגע אין למפתחים שרת סטרימינג רשמי בחוץ והם עדיין עובדים עליו.

pip install -U huggingface_hub
hf download nari-labs/Dia2-2B

הקבצים

13 קבצים במאגר, 7.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors7.7 GB
• tokenizer.json3.5 MB
• vocab.json800.7 KB
• example_1.wav506.9 KB
• merges.txt466.4 KB
• example_2.wav437.8 KB
• tokenizer_config.json13.3 KB
• special_tokens_map.json7.9 KB
• README.md4.7 KB
• .gitattributes1.6 KB
• config.json1.4 KB
• added_tokens.json1.2 KB
• dia2_assets.json125 B

הרישיון

הרישיון הוא Apache 2.0, שמאפשר שימוש מסחרי, שינוי של הקוד והפצה חופשית, בתנאי ששומרים על הודעות זכויות היוצרים והרישיון המקורי. המפתחים אוסרים שימוש להטעיה, חיקוי קול ללא רשות או פעולות פוגעניות, ויש לקחת בחשבון שרכיבי צד שלישי כמו הקודק שומרים על הרישיונות המקוריים שלהם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗