Dia2-2B — הדגמה
קוד פתוחnari-labsapache-2.02025-11-19
הדגמה שמייצרת דיאלוג קולי דו-כיווני מתוך טקסט כתוב ודגימות קול. מתאימה למי שרוצה לבדוק שילוב מודלים לשיחה קולית רציפה במקום הקראה פשוטה.
- 1.9Bפרמטרים
- 7.2 GBמשקל הקבצים
- —הורדות בחודש
- 81לייקים
מה זה
מזינים תסריט שמחולק לפי תורות דיבור, לצד קובצי שמע קצרים עבור שני דוברים שונים. בממשק יש תיבות טקסט גמישות שאפשר להוסיף או להסיר כדי לבנות את חלקי השיחה, ותפריט דוגמאות מובנה שמאפשר לטעון תרחישים מוכנים מראש.
התוצאה היא קובץ אודיו רציף של הדיאלוג, יחד עם טבלת חותמות זמן שמפרקת מתי כל דובר מתחיל ומסיים לדבר, ותיבת יומן שמציגה את מהלך היצירה. יש שליטה ידנית בפרמטרי דגימה כמו טמפרטורה וערכי דיגום עבור הטקסט והשמע בנפרד.
מאחורי הקלעים פועלת שרשרת של שלושה מודלים שונים. המערכת מחברת בין Dia2 2B שאחראי על הפקת השיחה, הדוחס הקולי kyutai mimi שמטפל בקידוד ופענוח האודיו, ומודל whisper large v3 של אופנאיי שמשמש כנראה לתמלול וסנכרון זמני הדיבור.
מתאים ל
- יצירת שיחה בין שני קולות
הפקת דיאלוג מלא משני קובצי קול ותסריט מחולק, כולל חותמות זמן מדויקות לכל משפט.
- בדיקת התנהגות מודל שיחה
כוונון טמפרטורה וערכי דגימה לאודיו ולטקסט כדי לבחון איך המודל מגיב לשינויים.
- הפקת פודקאסט קצר
בניית קטעי שיחה מתוסרטים לפודקאסט באמצעות טעינת דוגמאות או כתיבת טקסט ידני.
איפה זה נופל
חייבים להזין לפחות שורת דיבור אחת שאינה ריקה, אחרת הריצה נכשלת מיידית. הממשק בנוי לשני דוברים בלבד ולא יתאים לשיחה קבוצתית. בנוסף, whisper large v3 ודוחס האודיו דורשים משאבים, כך שהאיכות והדיוק של סנכרון הזמנים עלולים להשתבש בקטעים ארוכים או לא יציבים.
שאלות
נפוצות
האם השימוש בהדגמה עולה כסף?
לא, הגישה בדפדפן פתוחה וחינמית לחלוטין. החומרה מוקצית אוטומטית לפי זמינות במסגרת השירות.
האם אפשר להריץ את זה מקומית על המחשב?
כן, הקוד מבוסס על ספריות פייתון סטנדרטיות וטוען מודלים ציבוריים. תצטרכו כרטיס מסך חזק כדי להריץ יחד את שלושת המודלים שמופעלים שם.
כמה זמן לוקח לייצר שיחה?
זה תלוי באורך הטקסט ובזמינות המעבד הגרפי בעת הלחיצה. בדרך כלל התוצאה מתקבלת תוך כמה עשרות שניות בודדות.
מה קורה עם קובצי הקול שמעלים למערכת?
הקבצים מועברים ישירות לשרת שמריץ את הדף לצורך עיבוד הפלט בלבד. היות שלא פורסם רישיון או הסכם שימוש, עדיף לא להעלות הקלטות רגישות או פרטיות.
איך מריצים
בוחרים דוגמה מהרשימה או כותבים טקסט בתיבות, מעלים דגימות קול לשני הדוברים, ולוחצים על כפתור היצירה הראשי. ההרצה מתבצעת על מעבד גרפי מדגם zero a10g דרך הממשק של הגינג פייס. מכיוון שמדובר בהקצאת חומרה דינמית, לפעמים צריך להמתין שהסביבה תתעורר, אבל העיבוד עצמו מהיר ביחס להפקה קולית מורכבת.
pip install -U huggingface_hub hf download nari-labs/Dia2-2B
הקבצים
13 קבצים במאגר, 7.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון של החלל לא דווח בעמוד המאגר. במצב כזה אין אישור מפורש לשימוש מסחרי בקוד או בתוצרים, ולא ידוע מה רמת הפרטיות של דגימות הקול שאתם מעלים לשרת.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים