חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
V

Voila-demo

רץ בדפדפן

maitrix-orgmit2025-03-19

  • gradio

הדגמה קולית שמשלבת צ'אט מבוסס דיבור, הקראת טקסט ותמלול אודיו, כולל שכפול קולות. היא מיועדת למי שרוצה לבחון יכולות אודיו מתקדמות ישירות מהדפדפן.

  • —הורדות בחודש
  • 44לייקים

מה זה

הממשק מחולק לשלוש לשוניות עיקריות. בצ'אט אתם מקליטים או מעלים קובץ קול ומקבלים תשובה קולית. בלשונית ההקראה מזינים טקסט ומקבלים קובץ שמע, ובלשונית התמלול מעלים הקלטה ומקבלים את הטקסט שנאמר בה. יש אפשרות לבחור קול מתוך רשימה מוכנה, להגריל דמות, או לסמן תיבה שמאפשרת להעלות קובץ אודיו משלכם כדי לשכפל את גוון הקול.

מאחורי הקלעים רצה שרשרת מודלים ממשפחת Voila, כולל גרסאות צ'אט, בסיס, אודיו וטוקנייזר ייעודי. לצד אלה פועל המודל wespeaker-voxceleb לחילוץ מאפייני דובר, יחד עם נתוני קול מתוך מאגר Voila-million-voice. החיבור הזה מאפשר לנתח את הדיבור, לעבד את התוכן ולהחזיר פלט קולי מותאם אישית.

מתאים ל

  • בדיקת הקראת טקסט בקול מותאם

    הזנת טקסט ובחירת דמות מוכנה או דגימת קול חיצונית כדי להפיק דיבור מותאם אישית.

  • תמלול הקלטות קצרות

    העלאת קובץ שמע ללשונית התמלול לצורך חילוץ מהיר של הטקסט המדובר.

  • שיחה קולית רציפה

    שליחת הודעות קוליות בצ'אט וקבלת תגובות קוליות ישירות מהמודל.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה מדווחת על שגיאת ריצה, כך שהיא פשוט מושבתת כרגע בדפדפן. מעבר לכך, היא לא מיועדת לעיבוד קבצי אודיו ארוכים מאוד, ואין תיעוד לגבי תמיכה בשפות שאינן אנגלית, כך שסביר להניח שעברית לא תעבוד היטב בתמלול או בהקראה. כדאי לזכור שזו הדגמת ממשק ולא שירות יציב שמתאים לעבודה שוטפת.

שאלות
נפוצות

האם השימוש בהדגמה עולה כסף?

לא, הגישה בדפדפן חופשית לגמרי. אין צורך להכניס אמצעי תשלום ואין מדרגות מחיר.

למה הממשק לא מגיב כשלוחצים על שליחה?

האפליקציה נמצאת כרגע במצב שגיאת ריצה. עד שהיוצרים לא יעדכנו את הקוד או יאתחלו את השרת, היא לא תעבד פניות.

האם אפשר להריץ את הכלי על המחשב שלי?

כן, הקוד פתוח תחת רישיון MIT והקבצים זמינים. תצטרכו להוריד את המודלים של Voila, את משקלי הדוברים, ולהחזיק חומרה מתאימה, רצוי מעבד גרפי חזק.

מה קורה לקבצי הקול שאני מעלה?

הם נשלחים לשרת לצורך עיבוד זמני. הקוד אמנם כולל פקודות למחיקת ספריות זמניות, אך עדיין מדובר בהעלאה לשרת מרוחק, ולכן עדיף לא להעלות חומר רגיש.

איך משתמשים

נכנסים, בוחרים לשונית, מקליטים או מעלים קובץ שמע ולוחצים על כפתור השליחה. אין צורך בחשבון או בהתחברות כדי לגשת לממשק. המערכת מוגדרת לרוץ על מאיץ גרפי מסוג A10G שמספק עיבוד מהיר ברגע שהבקשה נכנסת לביצוע, אבל כרגע האפליקציה נמצאת במצב של שגיאת ריצה ולא תגיב לפעולות עד שהמפתחים יתקנו אותה.

הרישיון

הקוד מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי כולל שינויים והתאמות. לגבי הקבצים וההקלטות שאתם מעלים, הקוד כולל פונקציה למחיקת תיקיות זמניות, אך המידע עובר דרך שרתי השירות שבו מתארחת ההדגמה.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗