rvc_zero

מה זה

מעלים קובץ שמע או מקליטים ישירות, ובוחרים מודל קול שמבוסס על קובץ משקולות מסוג pth וקובץ אינדקס תואם. אפשר להדביק קישור ישיר לקובץ zip שמכיל אותם, לספק קישורים מבודדים, או להשתמש במנוע החיפוש המובנה שמאתר דגמים ציבוריים לפי מאגר פנימי. יש גם אפשרות לייצר דיבור מטקסט בעזרת edge-tts לפני ההמרה.

מאחורי הקלעים רצה תשתית RVC המבוססת על ארכיטקטורת VITS, יחד עם חילוץ מאפייני שמע בעזרת r3gm/hubert_base ואלגוריתם rmvpe. בנוסף להמרה הקולית הבסיסית, הקוד כולל שרשרת עיבוד שמע עם pedalboard שמפעילה ניקוי רעשים, דחיסה, פילטר ודהדהוד כדי ללטש את התוצאה הסופית שמופקת כקובץ להאזנה והורדה.

מתאים ל

• החלפת קול בהקלטת שירה

  המרת ערוץ שירה קיים לגוון קול של דמות או זמר אחר באמצעות טעינת מודל מתאים והתאמת גובה הצליל.

• דיבוב מטקסט בקול מותאם

  יצירת קריינות ראשונית מטקסט חופשי והלבשת מודל קולי ספציפי עליה בפעולה אחת רציפה.

• בדיקת מודלי RVC

  בחינה מהירה של קובצי משקולות ואינדקס שהורדו מהרשת על קטעי אודיו שונים ללא צורך בהתקנה מקומית.

איפה זה נופל

אם אין קובץ אינדקס תואם, רמת הדיוק של גוון הקול תרד באופן מורגש והמערכת תתריע על כך. הכלי לא מאמן מודלים חדשים אלא רק מבצע היסק על קבצים קיימים. בנוסף, קריסה או אתחול של הסביבה ימחקו קבצים שהועלו וידרשו העלאה חוזרת, וקבצי שמע עם רעשי רקע כבדים יפיקו תוצאה צורמת למרות מנגנון סינון הרעשים המובנה.

איך משתמשים

טוענים את קובצי המודל או בוחרים תוצאה מהחיפוש, מזינים את השמע, מכוונים סליידרים כמו גובה צליל והגדרות אפקטים, ולוחצים על כפתור ההמרה. השרת רץ על מאיץ גרפי מסוג zero-a10g שמקצה משאבים לפי דרישה. העיבוד עצמו מהיר יחסית לקטעים קצרים, אך בגלל הקצאת החומרה הדינמית תיתכן המתנה קלה כשהמאיץ מתעורר לפעולה.

הרישיון

הפרויקט מפורסם תחת רישיון mit, שמאפשר שימוש חופשי, שינוי והפצה כולל למטרות מסחריות. לגבי קובצי השמע והמודלים שמעלים, הרישיון לא מעניק זכויות על קולות של צד שלישי או על קבצים שנטענים ממאגרים חיצוניים, כך שהאחריות על זכויות היוצרים בקבצים עצמם נשארת אצלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗