clone-voice-for-bark

מה זה

אתם מקליטים קול דרך המיקרופון בממשק, מקלידים תמלול מדויק של מה שנאמר, ובוחרים שם לפרופיל. מה שמקבלים בסוף הוא לא קובץ שמע חדש שמקריא טקסט, אלא קובץ בפורמט npz שמכיל את נתוני הקול עבור Bark.

מאחורי הקלעים רץ קוד שטוען את המודלים של Bark, משתמש בספריית torchaudio ובכלי ההמרה של encodec, ומחלץ את המאפיינים הסמנטיים של הדיבור. ההקלטה נחתכת אוטומטית לאורך קצר, כשמשך הזמן המומלץ לפי הממשק הוא בין חמש לעשר שניות, בדומה לדגימות קיימות שנבדקו והיו באורך של כשבע שניות.

מתאים ל

• הכנת פרופיל קול למודל Bark

  יצירת קובץ npz מותאם אישית מהקלטה קצרה של חמש עד עשר שניות כדי להזין אותו אחר כך במודל.

• שכפול מהיר של דגימת מיקרופון

  חילוץ מאפייני דיבור ישירות מהדפדפן באמצעות הקלטה ותמלול ידני בלי לכתוב סקריפטים לחיתוך.

• בדיקת תאימות קולית

  בחינה של האופן שבו Bark מקודד קולות קצרים בעזרת מודל encodec.

איפה זה נופל

הכלי לא מקריא שום טקסט חדש ולא מחזיר אודיו מוגמר, אלא רק מייצר את קובץ הדגימה. אם אין לכם סביבה נפרדת להריץ בה את Bark עם הקובץ שנוצר, אין לכם מה לעשות איתו. בנוסף, חובה לתמלל את ההקלטה בעצמכם באופן מדויק, וההקלטה מוגבלת לשניות בודדות בלבד.

איך משתמשים

לוחצים על כפתור ההקלטה במיקרופון, מדברים כמה שניות, מתמללים את הטקסט בתיבה ומקליקים על יצירת קובץ ה־NPZ. האפליקציה הוגדרה במקור על מעבד גרפי מסוג a10g-small, אבל נכון לעכשיו היא נמצאת במצב מושהה ולא רצה ברשת, כך שאי אפשר להשתמש בה ישירות בדפדפן בלי להפעיל אותה מחדש או להעתיק את הקוד.

הרישיון

הפרויקט מפורסם תחת רישיון cc-by-nc-4.0. הרישיון הזה מתיר שימוש, שינוי ושיתוף של הקוד, אך אוסר לחלוטין כל שימוש מסחרי בו או בתוצרים שלו.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗