dia-1.6b
רץ בדפדפןmrfakenameרישיון לא דווח2024-03-08
הופך תסריט כתוב לשיחה קולית בין כמה דוברים שונים ישירות בדפדפן. מתאים למי שרוצה לבדוק דיאלוגים מרובי משתתפים בלי להקליט קריינים.
- —הורדות בחודש
- 59לייקים
מה זה
מזינים טקסט לתיבת קלט אחת ומסמנים את הדוברים השונים באמצעות תגיות כמו S1 ו־S2 בתחילת כל שורה. בתמורה מקבלים נגן עם קובץ אודיו בודד שכולל את כל הדיאלוג ברצף, כשכל דובר מקבל קול נפרד.
מאחורי הממשק רץ המודל Dia-1.6B של nari-labs, מודל ייעודי להמרת טקסט לדיאלוג בגודל 1.6 מיליארד פרמטרים. הקוד טוען את המודל דרך ספריית dia ומייצר את גל הקול באמצעות soundfile ו־numpy, בלי הגדרות קוליות מורכבות או בחירת שחקנים מראש.
מתאים ל
- בדיקת תסריטים ופודקאסטים
האזנה מהירה לטיוטות שיחה בין שני אנשים כדי לשמוע את הקצב והזרימה לפני הפקה.
- דיבוב ראשוני למשחקים
יצירת סקיצות קוליות לסצנות עם כמה דמויות בלי לשכור שחקנים בשלב הפיתוח.
- בחינת יכולות המודל
בדיקה מהירה של איכות ההפרדה בין דוברים שונים במודל Dia-1.6B דרך הדפדפן.
איפה זה נופל
אין כאן שליטה על סוג הקולות, המבטא, המגדר או המהירות שלהם. המודל קובע בעצמו איך כל דובר יישמע לפי התגית. בנוסף, לא מצוינת שום תמיכה בעברית או בשפות שאינן אנגלית, וטקסטים ארוכים במיוחד עלולים להיחתך או להיכשל בגלל מגבלות הזיכרון של המעבד הגרפי הזמני.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, השימוש בדפדפן פתוח לחלוטין וללא תשלום. אין צורך להזין פרטי אשראי או לפתוח חשבון כדי לייצר אודיו.
האם אפשר להריץ את זה מקומית על המחשב?
כן, המודל nari-labs/Dia-1.6B זמין ונטען בקוד באמצעות ספריית dia הרגילה בפייתון. תצטרכו מעבד גרפי מתאים כדי להריץ מודל של 1.6 מיליארד פרמטרים בקצב סביר.
במה הממשק הזה שונה מהמודל עצמו?
זהו מעטפת gradio בסיסית שמספקת תיבת טקסט וכפתור הרצה. היא חוסכת כתיבת קוד והגדרת סביבה, אך לא מאפשרת לשנות פרמטרים פנימיים של המודל כמו טמפרטורה או זרעי אקראיות.
איך משתמשים
מדביקים את התסריט עם תגיות הדוברים בתיבת הטקסט ולוחצים על Generate Audio. האפליקציה רצה על חומרת Zero-A10G שמקצה מעבד גרפי לפי דרישה, כך שזמן ההמתנה תלוי בעומס הרגעי על השרתים ובאורך הטקסט שהזנתם. אין צורך בהרשמה או התחברות כדי להתחיל, והתוצאה מופיעה ישירות בנגן בסיום הריצה.
הרישיון
הרישיון של החלל לא דווח. המשמעות היא שאין אישור מפורש לשימוש מסחרי בקבצי הקול שנוצרים, וכדאי לבדוק את תנאי השימוש של מודל הבסיס nari-labs/Dia-1.6B לפני שמפיצים תוכן מחוץ לבדיקה פרטית.