sovits5.0

מה זה

הממשק מציג טאב בשם sovits 5.0 שבו מעלים קובץ שמע, בוחרים קול רצוי מתוך תפריט נפתח ולוחצים על כפתור ההמרה. הפלט כולל תיבת סטטוס שמעדכנת על התהליך ונגן שמע שמחזיר את התוצאה המעובדת להאזנה ולהורדה.

מאחורי הקלעים הקוד טוען מודל מסוג SynthesizerInfer מתוך חבילת vits, משתמש בספריית torchcrepe לצורך זיהוי גובה צליל, ונעזר בכלים כמו librosa ו־soundfile לעיבוד האות. ברשימת המודלים של הדף מופיע גם gpt2, אך בקוד הממשק הגלוי הדגש הוא על מודל הקול.

מתאים ל

• החלפת קול בהקלטת שירה

  מעלים קטע שירה קיים וממירים אותו לגוון קול אחר מתוך הרשימה הזמינה.

• המרת קול לדיבוב

  לקיחת קטע דיבור מוקלט והלבשת צבע קול שונה תוך שמירה על המקצב.

• בדיקת יכולות המודל

  האזנה לביצועי המודל על דגימות קצרות כדי לבחון איכות סינתזה.

איפה זה נופל

הבעיה המרכזית היא שהחלל קורס כרגע ולא מגיב, כך שאי אפשר להמיר בו שום דבר. מעבר לכך, כל הטקסטים ברכיבי ההפעלה כתובים בסינית, ללא תרגום מובנה לאנגלית או לעברית.

אין כאן אפשרות לאמן קולות חדשים משלכם דרך הדפדפן, אלא רק להשתמש ברשימת הקולות הקבועה מראש, ואין מידע לגבי התאמת המודל לשירה בשפות אחרות חוץ מסינית.

איך משתמשים

בפועל, כרגע אי אפשר להשתמש באפליקציה דרך האתר כי היא נמצאת במצב של שגיאת ריצה. כשהיא פעילה, נכנסים לדף, מעלים קובץ אודיו דרך הרכיב הייעודי, בוחרים מזהה קול ולוחצים על כפתור ההמרה בסינית.

אין צורך בחשבון בתשלום כדי לגשת, אבל העיבוד מוגדר לרוץ על מעבד בסיסי בלבד. בלי מעבד גרפי ייעודי, חישובי מודלים של קול וניתוח גובה צליל ב־torchcrepe צפויים להיות אטיים מאוד.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי בקוד, שינוי שלו והרצה עצמאית, כולל מטרות מסחריות, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗