voice-cloning

מה זה

האפליקציה מקבלת קובץ שמע שאתם מעלים או הקלטה ישירה מהמיקרופון, ומחזירה שמע מעובד בקול חדש. הממשק כולל שני טאבים נפרדים, אחד להקלטה ואחד להעלאת קובץ, עם אפשרויות כוונון כמו שינוי גובה הצליל בחצאי טונים, חיזוי אוטומטי של תדר הבסיס, ושינוי מדדי רעש.

מאחורי הקלעים רץ קוד שמבוסס על so-vits-svc-fork לעיבוד והמרת הקול, יחד עם שימוש במודל demucs להפרדת אודיו. לפי הגדרות הקוד, המודל הספציפי שנטען כאן מגיע מהמאגר dog/kanye, כך שההמרה בפועל מכוונת לגוון הקול הזה.

מתאים ל

• בדיקת המרת שירה

  מעלים קטע שירה ובודקים איך הוא נשמע בגוון הקול של המודל.

• התנסות בפרמטרים

  משחקים עם גובה הטון וחיזוי תדר בסיס כדי להבין את מנוע so-vits.

• בסיס לפרויקט עצמאי

  משכפלים את הקוד ומחליפים את כתובת המודל בקובץ ההגדרות.

איפה זה נופל

למרות השם הכללי, היא לא מאפשרת לשבט כל קול שתרצו ישירות מתוך הממשק. היא מריצה מודל מוגדר מראש של קניה, וכדי להחליף אותו צריך לשכפל את הקוד ולשנות את המאגר ידנית. בנוסף, חומרת המעבד החלשה תתקשה עם קבצים כבדים ואין כאן מנגנון מהיר לעיבוד המוני.

איך משתמשים

בוחרים אם להקליט ישירות בדפדפן או להעלות קובץ קיים, בוחרים דובר יעד, ומכוונים את הגדרות הטון במידת הצורך. האפליקציה רצה על חומרת מעבד בסיסית, cpu-basic, בלי מאיץ גרפי. המשמעות היא שעיבוד השמע לוקח זמן מורגש ולא קורה בזמן אמת, במיוחד אם מעלים קטעים ארוכים.

הרישיון

הקוד מפורסם תחת רישיון mit, שמאפשר שימוש חופשי, שינוי והפצה כולל שימוש מסחרי בקוד עצמו. עם זאת, הרישיון מכסה את הקוד ולא מעניק זכויות על נתוני האימון של המודל dog/kanye או על הקולות שנוצרים בפועל.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗