NaturalSpeech2
רץ בדפדפןamphionרישיון לא דווח2023-12-17
הדגמת רשת להמרת טקסט לדיבור בקול מותאם אישית לפי דגימה קצרה. מתאים למי שרוצה לבדוק יכולות שיבוט קול בלי להתקין סביבת פיתוח.
- —הורדות בחודש
- 52לייקים
מה זה
היישום מבצע Zero-Shot TTS, כלומר הקראת טקסט מותאמת אישית מתוך דגימת קול חיצונית. מזינים טקסט באנגלית ומעלים קובץ שמע עם הקול שרוצים לחקות, ומקבלים קובץ שמע חדש שבו הטקסט מוקרא באותו סגנון וגוון.
מאחורי הקלעים הקוד מתבסס על ארכיטקטורת NaturalSpeech2 בשילוב מודל הדחיסה Encodec של מטא, יחד עם רכיבי עיבוד שפה כמו CMUdict לתעתיק פונטי באנגלית. המפתחים מציינים שהגרסה הזו אומנה רק על מאגר LibriTTS, כמות נתונים קטנה משמעותית מ־55,000 השעות שעליהן דווח במאמר המקורי.
מתאים ל
- הקראת טקסט באנגלית
הפקת דיבור באנגלית מתוך טקסט כתוב באמצעות חיקוי גוון של דובר נתון.
- בדיקת NaturalSpeech2
בחינת יכולות המימוש של Amphion לארכיטקטורת NaturalSpeech2.
- ניסויי שיבוט קול
הערכת היכולת של המודל לחקות קולות מתוך קובץ שמע קצר של המשתמש.
איפה זה נופל
הבעיה המרכזית היא שהחלל כלל אינו פעיל ומדווח על Build Error. מעבר לזה, המודל אומן רק על אנגלית מתוך LibriTTS, כך שאין שום תמיכה בעברית. איכות השמע והדיוק בחיקוי הקול מוגבלים בהשוואה למאמר המקורי בגלל היקף האימון המצומצם.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה כרגע?
לא. האפליקציה נמצאת במצב של שגיאת בנייה, ולכן ממשק ה־Gradio לא עולה בדפדפן.
האם יש תמיכה בהקראת עברית?
לא. הקוד כולל רכיבי עיבוד פונטי ספציפיים לאנגלית בלבד ואומן על מאגר LibriTTS.
האם אפשר להריץ את זה במחשב האישי?
כן. הקוד זמין במאגר, אך דורש תלויות כמו PyTorch, Encodec והתקנה של רכיבי Amphion עם חומרה מתאימה.
האם זה מפיק את אותן תוצאות כמו במאמר המקורי של מיקרוסופט?
לא. המפתחים הבהירו שהמודל אומן על שבריר מכמות הנתונים של המאמר המקורי, ולכן הביצועים שונים.
איך משתמשים
הממשק בנוי בגרדיו וכולל תיבת טקסט, העלאת שמע, סליידר לכוונון ונגן לתוצאה הסופית. מריצים בלחיצה על כפתור ההפעלה, כשהחומרה המוגדרת היא מעבד גרפי T4-small.
בפועל, היישום תקוע כרגע על שגיאת בנייה ולכן אי אפשר להריץ אותו ישירות בדפדפן. כדי להשתמש בו יש לשכפל את הקוד ולהריץ אותו בסביבה מקומית.
הרישיון
לא מוגדר רישיון בקוד או בעמוד היישום. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי, וכל מי שמתכוון להריץ את הקוד צריך לבדוק את הרישיונות של רכיבי הבסיס כמו Amphion ו־Encodec.