חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
P

pheme

רץ בדפדפן

PolyAIרישיון לא דווח2024-01-08

  • gradio

יש כאן גם סקירה על Poly AI עצמו.

הדגמה שמייצרת דיבור סינתטי בשיחות טלפון מתוך טקסט כתוב. היא מיועדת למי שבונה מענה קולי או בוטים קוליים ורוצה לבדוק סגנונות דיבור שונים.

  • —הורדות בחודש
  • 68לייקים

מה זה

מקלידים טקסט לתוך תיבה ובוחרים קול מתוך תפריט נפתח. בנוסף אפשר לשחק עם מדדי temperature בין 0.3 ל־1.5 כדי לשלוט בגיוון, ועם top_k בטווח שבין 10 ל־250. הפלט שמתקבל הוא קובץ שמע שמתנגן ישירות בדפדפן באיכות של 16 קילו-הרץ.

מאחורי הקלעים הקוד מתבסס על PhemeClient ומודל השיבוץ pyannote/embedding. המטרה המוגדרת של המודל היא הפקת דיבור שיחתי שנשמע מתאים לשיחות טלפון, להבדיל מקריאת טקסטים יבשה או הקראת ספרים. אין בממשק דוגמאות מובנות מוכנות מראש לפי הקוד, כך שצריך להזין משפטים לבד.

מתאים ל

  • בדיקת קולות למענה קולי

    האזנה לסגנונות דיבור שונים בפורמט טלפוני לפני שמחליטים אם לחבר את המודל למוקד שירות.

  • הפקת שמע לבוט שיחתי

    יצירת קבצי קול מהירים מתוך טקסט כתוב כדי לבדוק איך משפטי תגובה נשמעים בשיחה חיה.

  • כיוונון פרמטרי יצירה

    משחק עם ערכי temperature ו־top_k כדי להבין איך הם משפיעים על הטבעיות והיציבות של הדיבור.

איפה זה נופל

הבעיה המיידית היא שההדגמה פשוט קורסת כרגע עם RUNTIME_ERROR, כך שאי אפשר לבדוק אותה בדפדפן בלי לתקן את הקוד. מעבר לזה, איכות השמע מוגבלת מראש ל־16 קילו-הרץ בלבד, שזה תקן טלפוני נמוך שלא מתאים לפודקאסטים או לקריינות מקצועית. אין שום מידע על תמיכה בעברית, וברירת המחדל בפיתוחים כאלה היא אנגלית בלבד.

שאלות
נפוצות

האם אפשר להשתמש בהדגמה כרגע?

לא, הדף נמצא במצב של שגיאת ריצה ואינו מתפקד. תצטרכו לחכות שמי שמתחזק אותו יתקן את הבעיה, או לקחת את הקוד ולהרים אותו עצמאית.

האם השירות כרוך בתשלום?

השימוש בממשק הרשת של gradio אינו דורש תשלום כלשהו. עם זאת, הוא מוגבל לשרת של הדמו ואינו מיועד לעומסי עבודה אמיתיים.

האם המודל תומך ביצירת דיבור בעברית?

אין שום אזכור לתמיכה בשפות שאינן אנגלית, והקוד כולל רק דוגמאות באנגלית. הסיכוי שהוא יקריא עברית נכון נמוך מאוד עד אפסי.

האם אפשר להריץ את זה על המחשב שלי?

כן, הקוד משתמש בספריות פייתון סטנדרטיות ומודלים מ־Hugging Face. אפשר למשוך את הקבצים ולהריץ מקומית, בתנאי שיש לכם כרטיס מסך מתאים והגדרות סביבה תקינות.

איך משתמשים

נכנסים לעמוד, כותבים משפט, בוחרים קול ולוחצים על כפתור ההרצה כדי לשמוע את התוצאה. השרת יושב על חומרת a10g-small, מה שאמור לספק מענה סביר למודלים כאלה, אבל נכון לעכשיו אי אפשר להריץ אותה כי היא נמצאת במצב של שגיאת ריצה. כשהיא תחזור לעבוד לא צריך לשלם או להירשם.

הרישיון

הרישיון לא דווח בקוד או בתיעוד. בלי רישיון מוגדר, אין לכם אישור רשמי להשתמש בקבצי הקול שנוצרים לצרכים מסחריים, ומומלץ להתייחס לזה כהדגמת מחקר בלבד.

הרישיון המלא ב־Hugging Face ↗