VoiceCraft_gradio

מה זה

האפליקציה מקבלת קובץ שמע קצר וטקסט. המערכת כוללת תמלול באמצעות מודל Whisper בגרסת base.en או whisperX, יישור זמנים ברמת המילה, ומודל VoiceCraft בגרסת 830M_TTSEnhanced שמשלים או מחליף את המילים בקול המקורי. יש בה דוגמת שמע מובנית מקובץ בשם YOU1000000115_S0000252.wav יחד עם תמלול מוכן מראש.

המשתמש יכול לבחור בין שלושה מצבי עבודה: יצירת דיבור מטקסט (TTS), עריכת מילים בתוך ההקלטה (Edit), או הקראה ארוכה (Long TTS). הטכניקה מבוססת על מודל VoiceCraft ומקודד שמע מסוג encodec שאומן על נתוני gigaspeech, במטרה לשמור על גוון הקול וסביבת ההקלטה המקורית.

מתאים ל

• עריכת מילים בתוך הקלטה

  החלפת מילים שגויות בהקלטה קיימת תוך שמירה על הקול המקורי בלי להקליט מחדש.

• המשך דיבור מדגימת קול

  הפקת משפטים חדשים שנשמעים כמו הדובר המקורי על בסיס קטע שמע קצר.

• הקראת טקסטים ארוכים

  יצירת קטעי שמע ממושכים יותר מטקסט כתוב באמצעות מצב Long TTS בממשק.

איפה זה נופל

ההגבלה הבולטת ביותר היא שהדף אינו עובד כרגע עקב שגיאת בנייה. מעבר לכך, מודל התמלול המוגדר הוא base.en, מה שאומר שהמערכת מותאמת לאנגלית בלבד ולא תעבוד על הקלטות בעברית. עריכת מילים דורשת דיוק ידני רב בבחירת גבולות הזמן, והתוצאה תלויה לחלוטין באיכות היישור של whisperX.

איך משתמשים

כדי להתחיל, יש ללחוץ על כפתור טעינת המודלים, להעלות שמע או להשתמש בדוגמה, ולהפעיל תמלול ויישור זמנים. לאחר בחירת מילות ההתחלה והסיום בממשק, מריצים את הפעולה הרצויה. החומרה המוגדרת היא כרטיס a10g-large שאמור לספק ביצועים סבירים, אך כרגע האפליקציה נמצאת במצב BUILD_ERROR ולכן לא ניתן להריץ אותה בדפדפן עד שהמפתח יתקן את שגיאת הבנייה.

הרישיון

הפרויקט מפורסם תחת רישיון cc-by-nc-sa-4.0. המשמעות היא שהשימוש מוגבל למטרות לא מסחריות בלבד, וכל יצירה נגזרת חייבת להיות משותפת תחת אותו רישיון.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗