Ilaria_RVC

מה זה

אתם מעלים קובץ שמע ישירות לממשק, או מקלידים טקסט כדי לייצר דיבור בעזרת מודלי הקראה כמו אלה של Edge או מודל ייעודי. משם בוחרים מודל קול שמבוסס על טכנולוגיית RVC, ולוחצים על המרה כדי שהקול המקורי יוחלף בקול של המודל הנבחר. התוצאה שיוצאת היא קובץ שמע חדש להאזנה ולהורדה.

מתחת למכסה המנוע רץ קוד המבוסס על אלגוריתם RVC יחד עם מודלים של UVR לבידוד שירה ממוזיקה. הממשק כולל לשוניות נפרדות לטעינת מודלים חדשים באמצעות קישור או קובצי pth ואינדקס, אזור להפרדת קולות ומוזיקה, ומסך עם הגדרות מתקדמות שמאפשר לשנות גובה צליל, לכוונן את עומק המבטא, לסנן רעשי נשימה ולהגן על עיצורים כדי למנוע עיוותים.

מתאים ל

• החלפת קול בשיר

  מפרידים את קול הזמר מהפלייבק בלשונית הנפרדת, וממירים אותו לקול אחר עם מודל נבחר.

• הקראת טקסט בקול מותאם

  מקלידים טקסט, מייצרים דיבור בסיסי, ומלבישים עליו מודל קול כדי לקבל קריינות ייחודית.

• בדיקת מודלים חדשים

  מעלים קובצי משקולות ואינדקס כדי לשמוע איך מודל מסוים מתמודד עם קטעי שמע שונים.

איפה זה נופל

הבעיה המרכזית כרגע היא שהאפליקציה פשוט לא עובדת בעמוד המקורי כי היא הועברה למצב מושהה. גם אם מרימים אותה, הרצה על מעבד רגיל יוצרת צוואר בקבוק משמעותי, והמפתח עצמו ציין שפירוק השירה רץ על המעבד בלבד. אין כאן מנגנון מובנה לאימון מודלים מאפס, אלא רק להרצת מודלים קיימים. בנוסף, תוצאות ההמרה תלויות באיכות קובצי המקור, ואם הקלט מלא ברעשים או שאינו מבודד היטב, הפלט ישמע צורם ומקוטע.

איך משתמשים

כרגע המופע המקורי מוגדר במצב מושהה, כך שאי אפשר להשתמש בו ישירות בדפדפן בלי לשכפל אותו לחשבון פרטי. אם משכפלים את החלל לחומרה בסיסית של מעבד, הביצועים יהיו איטיים למדי. המרת קול, ובמיוחד פירוק שמע באמצעות מודלי UVR, דורשים כוח חישוב רציני. על מעבד רגיל תהליך ההמרה ייקח זמן ממושך בהשוואה לכרטיס מסך גרפי. השימוש עצמו פשוט, בוחרים קובץ, מגדירים פרמטרים ולוחצים על כפתור ההמרה.

הרישיון

הקוד פורסם תחת רישיון שנקרא INCU, אך בעמוד המקורי הרישיון מסומן כלא דווח. המשמעות היא שאין הגדרה ברורה וסטנדרטית לגבי שימוש מסחרי בקוד או שמירה על זכויות בקבצים שנוצרים. אם אתם מעלים חומרים רגישים, קחו בחשבון שאין פירוט על תנאי השימוש במידע.

הרישיון המלא ב־Hugging Face ↗