vits-simple-api

מה זה

אתם שולחים טקסט ומקבלים קובץ שמע שנוצר ישירות מהמודל. מאחורי הקלעים רצים מודלים של עיבוד שפה כמו RoBERTa לסינית ו־BERT ליפנית, שמנתחים את הטקסט לפני שהוא עובר ליצירת הדיבור. בנוסף, הקוד כולל שימוש במאגר נתונים לזיהוי רגשות, כך שהמודל מנסה להתאים את הטון למשמעות המילים.

לפי הקוד, מדובר במעטפת שמשלבת שרת פלאסק פנימי יחד עם ממשק גרדיו, שטוענת רשימת מודלים מוגדרת מראש ומייצרת את קובצי האודיו ישירות לזיכרון או לתיקייה זמנית.

מתאים ל

• הפקת שמע ביפנית

  יצירת קובצי קול מטקסט יפני בעזרת מודל שפה ייעודי.

• המרת טקסט בסינית

  עיבוד טקסט סיני ויצירת דיבור מבוסס RoBERTa.

• בדיקת ממשקי VITS

  בחינת אופן השילוב של מודלי VITS עם שרתי פלאסק.

איפה זה נופל

הבעיה המיידית היא שהשרת פשוט קרס, ולכן נכון לעכשיו אי אפשר לבדוק אותו שם בכלל. מעבר לזה, המודלים שמוגדרים בו מכוונים מראש לסינית וליפנית, כך שאין כאן שום תמיכה בעברית או התאמה למשתמש המקומי. אם ציפיתם להדגמה יציבה או לכלי שמוכן לשימוש שוטף בלי להוריד את הקוד, אתם תתאכזבו.

איך משתמשים

כרגע אי אפשר להריץ את ההדגמה הזאת ישירות בדפדפן, כי העמוד מדווח על שגיאת זמן ריצה פנימית. כשהוא כן רץ, הוא מוגדר על גבי חומרת מעבד בסיסית, מה שאומר שיצירת שמע עלולה לקחת זמן מורגש בהשוואה למעבדים גרפיים, במיוחד אם הטקסט ארוך. אין צורך בחשבון או בהתחברות כדי לגשת לממשק כזה.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שזה רישיון פתוח לחלוטין שמאפשר שימוש מסחרי, שינוי והפצה. עם זאת, לגבי הקבצים שאתם מעלים או האודיו שנוצר, אין כאן התחייבות לפרטיות, והקוד מנקה קבצים באופן אוטומטי מהשרת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗