GPT
V

Voice-Clone

רץ בדפדפן

Gyufyjkmit2024-01-10

  • gradio

מזינים טקסט, מעלים הקלטת קול קצרה ומקבלים קובץ שמע שמקריא את המילים בקול שהעליתם. היישום מתאים למי שרוצה לבדוק שכפול קול בשפות שונות ישירות מהדפדפן.

  • הורדות בחודש
  • 142לייקים

מה זה

אתם כותבים טקסט בתיבה ייעודית, מעלים קובץ שמע עם הקול שתרצו לחקות ובוחרים שפה מתוך רשימה של שש עשרה אפשרויות. הפלט הוא קובץ אודיו חדש שנוצר על בסיס הטקסט והקול שסיפקתם.

מאחורי הקלעים הקוד משתמש בספריית TTS ומסתמך על שורה ארוכה של מודלים מוכרים, ביניהם bark, tortoise-tts-v2, ורכיבי זיהוי של wav2vec2 ו־hubert. השפות לבחירה כוללות בין היתר אנגלית, רוסית, ערבית, ספרדית וצרפתית, אבל עברית לא מופיעה ברשימת האפשרויות שהממשק מציג.

מתאים ל

  • בדיקת שכפול באנגלית

    ניסוי מהיר של הקראת טקסט באנגלית עם דגימת קול חיצונית, ברגע שהקוד יתוקן.

  • הקראת שפות זרות

    הפקת שמע בערבית, ספרדית או רוסית בקול מותאם אישית מתוך הרשימה הנתמכת.

  • עיון בקוד המקור

    בדיקת האופן שבו ממשק gradio מתחבר לספריית TTS ולמודלים השונים של זיהוי שמע.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט לא עובדת וקורסת בשלב הבנייה. מעבר לכך, אין בה תמיכה בעברית מתוך שש עשרה השפות הזמינות ברשימה, כך שעבור קהל ישראלי שרוצה שמע מקומי היא מראש חסרת תועלת. מי שבונה על תוצאה מהירה היה מתאכזב בכל מקרה בגלל החומרה החלשה.

שאלות
נפוצות

האם האפליקציה זמינה לשימוש בחינם?

הגישה להדגמה חינמית לחלוטין וללא צורך בתשלום. עם זאת, נכון לעכשיו היא נמצאת במצב של שגיאת בנייה כך שאי אפשר להריץ אותה בדפדפן.

האם יש תמיכה בעברית?

לא. רשימת השפות כוללת שש עשרה אפשרויות ספציפיות כמו אנגלית, גרמנית, ערבית וצרפתית, ועברית אינה חלק מהן.

אפשר לקחת את הקוד ולהריץ אותו במחשב שלי?

כן, הקוד מוגן ברישיון MIT ומאפשר הרצה מקומית חופשית. תצטרכו להתקין את ספריית TTS והתלויות של פייטורץ', ורצוי מאוד להשתמש בכרטיס מסך כדי לא להמתין דקות ארוכות לכל פלט.

כמה זמן לוקח לייצר קובץ קול?

בהדגמה הזו הוקצה מעבד בסיסי בלבד. מודלים מסוג tortoise ו־bark דורשים כוח עיבוד כבד, ולכן על חומרה כזו הפקת משפט קצר הייתה נמשכת דקות ארוכות, בניגוד להרצה על כרטיס גרפי חזק.

איך משתמשים

בפועל אין כרגע אפשרות ללחוץ על כלום בדפדפן, כי האפליקציה נמצאת במצב של שגיאת בנייה ולא עולה.

אם היא הייתה נטענת, היא רצה על חומרת מעבד בסיסית בלבד ללא מאיץ גרפי. בהתחשב במודלים כבדים כמו tortoise ו־bark, הרצה על מעבד כזה הייתה לוקחת זמן ממושך לכל משפט בודד.

הרישיון

הפרויקט מפורסם תחת רישיון MIT שמאפשר שימוש חופשי, כולל שינוי והפצה של הקוד. לגבי הקבצים שמעלים או השמע שנוצר, לא מוגדרים תנאים מיוחדים מעבר למדיניות האתר שמארח את ההדגמה.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗