Voice-Cloning-for-Bilibili

מה זה

מעלים קובץ אודיו של שירה נקייה, מקליטים ישירות מהמיקרופון, או שולפים קטע וידאו לפי נקודות התחלה וסיום בשניות. מקבלים בחזרה שני קבצי שמע: רצועת שירה מומרת בנפרד, ושילוב שלה יחד עם הפלייבק המקורי.

מאחורי הקלעים הקוד מריץ את Demucs כדי לבודד את השירה מהמוזיקה בלי צורך בעיבוד חיצוני. לאחר מכן המודל so-vits-svc-fork עם המשקולות של kevinwang676/talktalkai-qing מבצע את המרת גוון הקול לקול המוגדר מראש, תוך אפשרות לשינוי סולם של עד 12 חצאי טונים לכל כיוון ושליטה בערבוב מודל הצימוד.

מתאים ל

• החלפת קול בשיר קיים

  מעלים קובץ עם שירה ומוזיקה ומקבלים גרסה שבה הקול הוחלף בקול של המודל.

• הקלטה והמרה דרך מיקרופון

  שרים או מדברים ישירות לדפדפן כדי לבדוק איך גוון הקול נשמע מיד.

• התאמת סולם לשירה

  משנים את גובה הצליל בעד 12 חצאי טונים כדי להתאים את המקור למנעד של הקול החדש.

איפה זה נופל

הבעיה המיידית היא שהיא בכלל לא עובדת ברשת ונמצאת במצב RUNTIME_ERROR. בנוסף, הממשק כולו כתוב בסינית, מה שמקשה על ההתמצאות בהגדרות אם אתם לא קוראים את השפה. המודל נעול על דמות אחת ספציפית ואי אפשר לאמן או להעלות אליו קול משלכם ישירות מהדפדפן, והסרת הרעשים האוטומטית נוטה לפגוע באיכות השירה המקורית.

איך משתמשים

נכנסים לממשק ובוחרים באחת משלוש הלשוניות: מיקרופון, העלאת קובץ או קישור. בוחרים את הזמרת מהרשימה, מכוונים את הסולם אם רוצים להעלות או להוריד טון, ולוחצים על שליחה. אין צורך בחשבון כדי להפעיל את הממשק.

בפועל, כרגע אי אפשר להריץ אותה כי היא מסומנת במצב שגיאת ריצה. גם אם היא הייתה פעילה, היא מוגדרת על חומרת מעבד בסיסית בלבד, ולכן חישוב של הפרדת צלילים והמרת קול לוקח זמן רב ומקרטע בלי מאיץ גרפי.

הרישיון

הקוד מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה כולל לצרכים מסחריים. לגבי קבצי האודיו שמעלים, הזכויות נשארות שלכם בכפוף לתנאי השימוש של פלטפורמת האחסון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗