bark-voice-cloning — הדגמה

מה זה

התהליך מתבסס על שילוב של שני מודלים מרכזיים. אתם מעלים קובץ שמע של דיבור, והקוד טוען את המודל hubert-base-ls960 של פייסבוק יחד עם מודל ההתאמה של GitMylo, במטרה לנתח את המאפיינים הייחודיים של הדובר.

מתחת למכסה המנוע רצים רכיבים של אנקודק וטוקנייזר מותאם שמפרקים את גלי הקול ומחלצים את הטוקנים הסמנטיים והאקוסטיים. מה שיוצא בסוף זה לא בהכרח קובץ שמע חדש של דיבור חופשי, אלא קובץ נתונים שמכיל את התבנית הקולית שנשמרת לשימוש עם ברק. אין בדף דוגמאות מובנות או תצוגה מקדימה מוכנה, כך שחייבים לספק שמע עצמאי כדי לבדוק איך הניתוח מתמודד איתו בפועל.

מתאים ל

• יצירת פרופיל קול לברק

  חילוץ מאפייני דיבור מקובץ אודיו כדי להכין קול חדש למודל ברק.

• עיבוד שמע עם היוברט

  המרת דיבור לטוקנים בעזרת המודל של פייסבוק על גבי מעבד.

• בדיקת ארכיטקטורת שיבוט

  בחינת אופן הפעולה של אנקודק והטוקנייזר בקוד פתוח.

איפה זה נופל

הבעיה הגדולה כרגע היא שהאפליקציה פשוט לא עובדת וקורסת בשגיאה, כך שאי אפשר להריץ אותה ישירות. מעבר לזה, השם יכול להטעות ולגרום לכם לחשוב שמדובר במערכת שלמה שמקלידה טקסט ומקריאה אותו בקול המשובט, אבל הקוד כאן רק מחלץ ומכין את הקול. אין שום ערובה שהתוצאה תישמע טבעית או תעבוד בכלל בעברית.

איך מריצים

במצב הנוכחי אי אפשר באמת להשתמש בה בדפדפן, כי העמוד מדווח על שגיאת ריצה. כשהיא למעלה, מזינים את הקלט בלחיצה על ממשק גרדיו וממתינים. ההרצה מוגדרת על מעבד בסיסי בלי מאיץ גרפי, שילוב כבד מאוד עבור מודלים כמו היוברט ואנקודק, כך שכל ניתוח שמע ייקח דקות ארוכות.

pip install -U huggingface_hub
hf download GitMylo/bark-voice-cloning

הקבצים

5 קבצים במאגר, 431 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• quantifier_V1_hubert_base_ls960_23.pth243.7 MB
• quantifier_hubert_base_ls960.pth104.0 MB
• quantifier_hubert_base_ls960_14.pth104.0 MB
• README.md3.3 KB
• .gitattributes1.5 KB

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. לגבי קובצי השמע שאתם מעלים, אין תיעוד בסיסי על שמירת הנתונים או מחיקתם מהשרת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗