nene-emotion
רץ בדפדפןinnnkyרישיון לא דווח2022-10-27
הכלי מייצר דיבור ביפנית לפי טקסט עם שליטה ברגש של הדמות ננה. הוא מיועד למי שרוצה לבדוק סינתזת דיבור רגשית או להפיק קטעי קול קצרים לדמות הזו.
- —הורדות בחודש
- 82לייקים
מה זה
מזינים טקסט ביפנית, בוחרים סגנון רגשי ומקבלים קובץ שמע מסונתז. הקוד מציג ברירת מחדל של משפט היכרות ביפנית, ומאפשר לבחור רגש מוכן מראש כמו רגיעה, להגריל דגימת רגש מתוך סט האימון, או להקליד מזהה מספרי ישיר של דגימה קודמת. לשונית נוספת שמופיעה בממשק ומיועדת לקבלת אודיו כרפרנס רגשי מסומנת בקוד ככזו שטרם מומשה.
מאחורי הקלעים הקוד טוען את SynthesizerTrn לצד המודל audeering/wav2vec2-large-robust-12-ft-emotion-msp-dim, שמנתח ממדי רגש בדיבור ומאכיל את מנוע הדיבור בפרמטרים הרלוונטיים.
מתאים ל
- דיבוב משפטים ביפנית
מייצרים קובצי אודיו של הדמות ננה עבור משפטים קצרים ביפנית עם שליטה על גוון הרגש.
- בדיקת סינתזה מונחית רגש
בוחנים איך שילוב של מודל wav2vec2 לחילוץ רגש משפיע על מודל סינתזת הדיבור.
- שחזור סגנון באמצעות מזהה
מפיקים קול תוך שימוש חוזר במזהה דגימה ספציפי מתוך סט האימון לשמירה על אחידות.
איפה זה נופל
הבעיה המיידית היא שההדגמה שבורה ולא פועלת בדפדפן עקב שגיאת ריצה. מעבר לזה, הממשק והמודל מכוונים ליפנית בלבד, כך שטקסט בעברית או באנגלית לא רלוונטי כאן. הלשונית של שימוש באודיו חיצוני כרפרנס רגשי לא מומשה בקוד, וכל הממשק כתוב בסינית, מה שמקשה על ההתמצאות.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
הגישה לממשק באתר אינה כרוכה בתשלום. פותחים את הדף בדפדפן ומנסים להריץ ישירות. כרגע אין אפשרות להפיק ממנו שמע בגלל תקלה בקוד.
האם אפשר להריץ את הכלי על המחשב?
הקוד פתוח וכולל קובץ app.py וקבצי עזר שניתן להוריד. כדי להריץ מקומית תצטרכו להתקין את התלויות של פייתון ולתקן את השגיאה שמונעת ממנו לעלות ברשת. זה דורש הבנה טכנית בסביבות למידת מכונה.
למה מופיעה שגיאה כשאני מנסה להשתמש בה?
המרחב מדווח כרגע על RUNTIME_ERROR בשרת. זה קורה לרוב בגלל תלות חסרה, בעיית זיכרון או שגיאה בטעינת המודלים בהפעלת הקוד. עד שהיוצר innnky יעדכן את המרחב, הכפתורים לא ייצרו שמע.
האם אפשר להעלות קובץ קול משלי כדי להעתיק את הרגש?
לא, האפשרות הזו מופיעה בלשונית נפרדת אך הטקסט בקוד מציין מפורשות שהיא טרם מומשה. אפשר לבחור רק מרשימת הרגשות המוגדרת מראש או להשתמש במזהה של דגימת אימון.
איך משתמשים
בפועל נכנסים לאחת הלשוניות, מדביקים טקסט ביפנית, בוחרים רגש או מזהה ולוחצים על כפתור הסינתזה. אין צורך בהרשמה כדי להשתמש בממשק. עם זאת, המרחב נמצא כרגע במצב של שגיאת ריצה (RUNTIME_ERROR), והחומרה שמוגדרת עבורו היא cpu-basic חלש. זה אומר שנכון לעכשיו אי אפשר להריץ אותו בכלל בדפדפן בלי שהיוצר יתקן את הקריסה, וגם אם יתוקן, עיבוד קול על מעבד בסיסי ייקח זמן.
הרישיון
היוצר לא הגדיר רישיון בקוד או בעמוד המרחב. מבחינה חוקית זה אומר שאין הרשאה ברורה לשימוש מסחרי בקוד או בשמע שנוצר, וזכויות היוצרים על הקוד והמודלים נשארות בידי מי שיצר אותם.