חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
M

mars5_space

רץ בדפדפן

CAMB-AIרישיון לא דווח2024-06-08

  • gradio

הדגמה לשכפול קול והקראת טקסט על בסיס דגימת שמע קיימת. מתאים למי שרוצה לבחון יכולות דיבוב וסינתזת דיבור בלי לכתוב שורת קוד.

  • —הורדות בחודש
  • 60לייקים

מה זה

מעלים קובץ שמע של הדובר שרוצים לשכפל ומקלידים בתיבה את הטקסט החדש להקראה. הפלט הוא קובץ אודיו מסונתז שמנסה לדבר באותו הקול. הממשק מבוסס על Gradio ומריץ ברקע מודל בשם MARS5-TTS לצד צינור עיבוד ASR של Hugging Face.

מי שרוצה שליטה מעבר לברירת המחדל ימצא תפריט הגדרות מתקדמות. אפשר להזין שם תמלול ידני של קובץ המקור, להפעיל מצב שכפול עמוק, ולכוונן פרמטרים של דגימה כמו טמפרטורה, top_k ועונשי חזרתיות. הממשק כולל גם דוגמאות מובנות לבדיקה מהירה, אך הן לא נשמרות במטמון ודורשות הרצה חיה.

מתאים ל

  • שכפול קול מטקסט

    הפקת דיבור בקול של אדם מסוים מתוך דגימת אודיו קצרה וטקסט כתוב.

  • בדיקת איכות MARS5-TTS

    הערכת היכולות של המודל באמצעות דוגמאות מובנות לפני שמורידים אותו למחשב.

  • כיול פרמטרי דגימה

    בדיקה של השפעת ערכי טמפרטורה ושכפול עמוק על התוצאה הקולית.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה כבויה ולא מייצרת פלט. מעבר לזה, הקוד מזהיר שמשחק לא נכון במחווני הדגימה פוגע ישירות באיכות הקול. אין שום פירוט על תמיכה בעברית, וללא בדיקה עצמאית כדאי להניח שהיא מכוונת בעיקר לאנגלית.

שאלות
נפוצות

האם אפשר להשתמש באפליקציה כרגע?

לא. המופע שלה בהאגינג פייס נמצא במצב מושהה, ולכן אי אפשר להריץ בו פקודות עד שבעלי המאגר יפעילו אותו מחדש.

האם הממשק פועל מהר?

החומרה שהוגדרה לו היא מעבד בסיסי בלבד ללא האצת חומרה. הרצת מודלים מסוג זה על מעבד רגיל גוזלת בדרך כלל זמן ניכר לכל קטע אודיו.

האם מותר להשתמש בתוצרים לצרכים מסחריים?

לא מוגדר רישיון בדף המאגר. בלי הצהרת רישיון רשמית של היוצרים, אין היתר משפטי ברור לשימוש מסחרי.

האם אפשר להריץ את הקוד הזה מקומית?

כן. הקוד בנוי מעל ספריות פתוחות כמו Gradio, PyTorch ו־Transformers, ומסתמך על מודל MARS5-TTS שפורסם במאגר.

איך משתמשים

כרגע אי אפשר ללחוץ על כלום כי המופע נמצא במצב מושהה. כשהוא פעיל, בוחרים דוגמה או מעלים קובץ, מקלידים טקסט ולוחצים על הכפתור. מכיוון שהאפליקציה מוגדרת על מעבד בסיסי בלי מאיץ גרפי, יצירת האודיו צפויה להיות איטית מאוד ביחס להרצה מקומית על כרטיס מסך.

הרישיון

הרישיון של המרחב לא דווח כלל. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בתוצרים, ורצוי להיזהר לפני שמעלים קולות רגישים לפלטפורמה ציבורית.

הרישיון המלא ב־Hugging Face ↗