Clone-Your-Voice
רץ בדפדפןruslanmvרישיון לא דווח2022-09-07
מעלים הקלטת קול קצרה ומקלידים טקסט, ומקבלים קובץ שמע שמקריא את המילים בקול שהועלה. הכלי מיועד למי שרוצה לבדוק שכפול קול בסיסי ישירות מהדפדפן.
- —הורדות בחודש
- 75לייקים
מה זה
הממשק מקבל שני דברים: טקסט חופשי באורך של עד 2000 תווים לבקשה, וקובץ שמע עם דגימת הקול שרוצים לשכפל. הפלט שיוצא בסוף התהליך הוא קובץ אודיו חדש שבו הקול מדבר את הטקסט שהזנתם. בדוגמאות המובנות יש קטע של דונלד טראמפ עם טקסט באנגלית וקובץ שמע תואם בשם trump.mp3.
מאחורי הקלעים הקוד מתבסס על ארכיטקטורה קלאסית של שלושה שלבים: encoder שמחלץ את מאפייני הקול מההקלטה, synthesizer שמייצר ספקטרוגרמה מהטקסט, ו־vocoder שממיר אותה בחזרה לגל קול שנשמע באוזן. המימוש נשען על ספריות סטנדרטיות כמו torch ו־librosa לעיבוד השמע.
מתאים ל
- הדגמת שכפול קול
יצירת קטע שמע קצר של עד 2000 תווים בקול של אדם אחר לצורך הדגמה ובדיקת היתכנות.
- הפקת דיבוב מטקסט
המרת טקסט כתוב לקובץ דיבור על בסיס דגימת אודיו קיימת כמו זו שמצורפת בממשק.
- לימוד ארכיטקטורת קול
בחינת קוד המקור שמחבר בין מודל קידוד, סינתיסייזר וווקודר לפרויקט אחד.
איפה זה נופל
הבעיה המרכזית כרגע היא שהאפליקציה נמצאת במצב שגיאת בנייה ולכן אי אפשר להריץ אותה ישירות ברשת בלי לתקן את הקוד. בנוסף, חומרת המעבד הבסיסית מגבילה מאוד את קצב העבודה לעומת שרתים ייעודיים. הדוגמה הקיימת מציגה אנגלית בלבד, ואין שום תיעוד שתומך בעבודה בעברית או בהתמודדות עם שפות שאינן אנגלית.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה כרגע?
לא ישירות בדפדפן, כי העמוד מדווח על שגיאת בנייה פעילה שמונעת את טעינת הממשק. מי שרוצה להשתמש בה יצטרך להוריד את הקוד, לפתור את התלויות ולהריץ אותה עצמאית.
האם השימוש עולה כסף?
הפרויקט פורסם בחינם לגישה ציבורית ברשת. אין כאן מנגנון תשלום, מנויים או חבילות פרימיום.
כמה זמן לוקח לייצר שמע?
לפי ההנחיות שכתובות בממשק עצמו, התהליך דורש המתנה של כדקה אחת לכל בקשה. משום שהמערכת רצה על מעבד פשוט ללא כרטיס גרפי, העיבוד איטי ביחס למודלים מודרניים.
האם אפשר להריץ את הקוד באופן מקומי?
כן, הקוד כתוב בפייתון ומשתמש בספריות סטנדרטיות שניתן להתקין על מחשב אישי. צריך לוודא שיש סביבה מתאימה עם כל התלויות הנדרשות עבור שלושת חלקי המודל.
איך משתמשים
בפועל אתם מדביקים טקסט לתיבה, מעלים קובץ שמע או בוחרים את הדוגמה המוכנה, ולוחצים על כפתור ההפעלה. לפי התיאור בממשק, העיבוד אורך כדקה שלמה לכל בקשה. האפליקציה רצה על חומרת מעבד בסיסית בלבד ללא האצת מאיץ גרפי, כך שאין מה לצפות למהירות גבוהה או למענה מיידי.
הרישיון
הפרויקט פורסם ללא הגדרת רישיון רשמי. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בפלטים, וכל העלאה של קבצים לשם נעשית בלי תנאי פרטיות או הגנה מוגדרים.