coqui-bark-voice-cloning-docker
רץ בדפדפןfffiloniרישיון לא דווח2023-10-28
הכלי משבט קולות ומקריא טקסט באמצעות מודל Bark של Coqui. הוא מתאים למי שרוצה לבדוק התאמת קול אישי להקראת משפטים קצרים בלי התקנות מורכבות.
- —הורדות בחודש
- 58לייקים
מה זה
אתם מספקים טקסט להקראה ובוחרים מאיפה לקחת את הקול. אפשר להעלות קובץ שמע מהמחשב, להקליט דגימה ישירות דרך המיקרופון, או לבחור דמות מתוך גלריית קולות מוכנה שכוללת דוגמאות קול כמו en_speaker_6 ו־en_speaker_9.
המערכת מבוססת על מודל Bark מתוך ספריית TTS של Coqui, שרץ בתוך סביבת Docker. הקוד מעבד את הדגימה, כולל אפשרות לניקוי הרעשים מהשמע, מייצר את הדיבור, ומחזיר קובץ שמע output.wav, סרטון וידאו עם צורת גל, וקובץ npz שמכיל את נתוני הקול המשובט.
מתאים ל
- הקראת טקסט בקול אישי
מעלים דגימת שמע שלכם כדי לייצר הקראה של עד עשרה משפטים.
- שמירת פרופיל קול
מורידים את קובץ ה־npz שנוצר כדי להשתמש בקול שוב בלי לעבד מחדש.
- יצירת שמע עם וידאו פשוט
מפיקים קובץ וידאו עם הדמיית גלי קול המותאם לשיתוף מיידי ברשת.
איפה זה נופל
יש פה מגבלה קשיחה על אורך התוכן. הקוד חותך טקסטים ארוכים ומשאיר רק את 10 המשפטים הראשונים כדי לא להעמיס על המשאבים. בנוסף, אם בוחרים דמות מהגלריה ולא מזינים את שמה המדויק בתיבת Character Name, המערכת מוציאה שגיאה ולא מייצרת דבר. דוגמאות הקול הקיימות מוגדרות לקולות באנגלית, ודגימות באיכות נמוכה עלולות לייצר תוצאה לא ברורה.
שאלות
נפוצות
האם הכלי זמין לשימוש בחינם כרגע?
האפליקציה נמצאת כרגע במצב מושהה PAUSED בחשבון של היוצר. כדי להפעיל אותה צריך לשכפל את המרחב לחשבון האישי שלכם ב־Hugging Face. במידה ומריצים אותה על חומרה בתשלום, יהיו עלויות על זמן הריצה.
כמה טקסט אפשר להקריא בריצה אחת?
הקוד מגביל את הקלט לעשרה משפטים בלבד כדי למנוע עומס על השרת. אם תזינו טקסט ארוך יותר, הממשק יחתוך אותו באופן אוטומטי ויעבד רק את ההתחלה. כדי להקריא טקסט ארוך יש לשכפל את הקוד ולשנות את המשתנה MAX_NUMBER_SENTENCES.
מה קורה עם קובצי השמע שמקליטים או מעלים?
הקבצים נשמרים מקומית בתיקיות הפרויקט של המכולה כדי לעבד את השיבוט ולייצר את קובץ ה־npz. אין כאן מדיניות פרטיות מוצהרת או התחייבות למחיקה. לכן לא מומלץ להעלות הקלטות עם מידע רגיש או פרטי.
האם אפשר להריץ את היישום על המחשב?
כן, הפרויקט מוגדר במסגרת של Docker ומבוסס על ספריית TTS הרגילה של פייתון. אפשר להוריד את הקוד, לבנות את הקונטיינר ולהריץ אותו על חומרה מקומית. תצטרכו מחשב עם כרטיס מסך מתאים כדי לקבל זמני יצירה סבירים.
איך משתמשים
נכנסים לממשק, כותבים את הטקסט בתיבת הפרומפט, בוחרים לשונית של העלאת קובץ, מיקרופון או גלריה, ולוחצים על Submit. אם מקליטים לבד, יש תיבת עזר לטקסט, ואפשר לסמן תיבה לניקוי השמע.
היישום רץ על מעבד גרפי t4-small. זה חומרה בסיסית, כך שחישוב מודלים כבדים כמו Bark ייקח זמן ולא יקרה ברגע. נכון לעכשיו המצב שלו הוא PAUSED, ולכן כדי להשתמש בו בפועל צריך לשכפל את המרחב לחשבון שלכם.
הרישיון
הרישיון של היישום לא דווח בקוד או בפרטי הפרויקט. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי, וכל עוד היוצר לא הגדיר תנאים, כדאי להתייחס אליו כפרויקט ניסיוני בלבד. לגבי הקבצים שאתם מעלים, לא מצוין מנגנון מחיקה אוטומטי מלבד שמירה זמנית לצורך הריצה.