vtuber_rvc_models

מה זה

מזינים קטע שמע בהקלטה ישירה, מעלים קובץ, מדביקים קישור מיוטיוב או מקלידים טקסט להקראה קולית דרך מנוע של מיקרוסופט. בתמורה מקבלים קובץ שמע שבו הקול המקורי מוחלף באחד ממודלי הדיבוב של הדמויות, כולל הפרדה מובנית של שירה ממוזיקת רקע בעזרת אלגוריתמים כמו htdemucs או mdx_extra_q.

מאחורי הקלעים רץ שילוב של RVC להמרת גוון הקול יחד עם ספריות עיבוד קול כמו librosa ו־fairseq. הממשק מאגד שורה של מודלים קהילתיים מוכנים מראש, כמו אלה של סאקורה מיקו, שירקאמי פובוקי ויוזורה מל, וכולל אפשרויות לשינוי גובה הצליל, בחירת שיטת זיהוי תדר ודגימה מחדש.

מתאים ל

• יצירת גרסאות כיסוי

  מזינים שיר מיוטיוב, מפרידים את השירה מהפלייבק וממירים את הקול לאחת מדמויות הרשת המובנות.

• דיבוב טקסט קצר

  מקלידים משפט של עד 250 תווים ומפיקים קובץ דיבור של דמות וירטואלית דרך מנוע הקראה.

• החלפת קול בהקלטה

  מקליטים ישירות דרך המיקרופון או מעלים קובץ קיים, ומשנים את גובה הצליל והגוון לפי הדמות שנבחרה.

איפה זה נופל

המכשול המרכזי כאן הוא שהחלל נמצא במצב של שגיאת בנייה ולא מתפקד כרגע בדפדפן. בנוסף, חומרת מעבד בסיסית חלשה מדי עבור מודלים כבדים של המרת קול והפרדת שמע, מה שמוביל לקריסות או זמני המתנה ארוכים מאוד. כדאי לזכור גם שהקראת הטקסט מוגבלת ל־250 תווים בלבד.

איך משתמשים

בוחרים דמות מתוך הלשוניות, מזינים את המקור בלשונית ההקלטה, הקבצים, הקישורים או הקראת הטקסט, ולוחצים על כפתור ההמרה. אם משתמשים ביוטיוב, מפרידים קודם את קול השירה בלחיצה על כפתור הפיצול.

בפועל אין צורך בהתחברות או תשלום כדי לגשת לממשק. מצד שני, המערכת מוגדרת על מעבד בסיסי בלי כרטיס גרפי, מה שאומר שעיבוד קול ייקח זמן ניכר, אם הוא בכלל יצליח לרוץ.

הרישיון

הפרויקט פורסם תחת רישיון creativeml-openrail-m. הרישיון הזה מתיר שימוש חופשי אבל מטיל הגבלות ברורות נגד יצירת תוכן פוגעני, התחזות מזיקה או הפצת מידע כוזב באמצעות המודלים.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא ב־Hugging Face ↗