PersonaPlex

מה זה

מזינים כאן טקסט שמגדיר את הפרסונה הרצויה, בוחרים קול מתוך רשימה נפתחת, ומקליטים או מעלים קובץ שמע. בתמורה מקבלים פלט קולי יחד עם תמלול טקסטואלי של התשובה. הממשק מציע גם דוגמאות מוכנות של פרסונות לבחירה מהירה, כך שלא חייבים להמציא הגדרות מאפס.

מאחורי הקלעים רץ המודל nvidia/personaplex-7b-v1, שמשתמש בספריות של moshi לעיבוד שפה ושמע, יחד עם רכיבי mimi לדחיסה וקידוד קול, וטוקנייזר טקסט ייעודי. בנוסף נפרק שם קובץ קולות מוכן שממנו נמשכים מאפייני הדיבור עבור הפלט הסופי.

מתאים ל

• בדיקת התנהגות פרסונה

  בחינה של תגובות טקסטואליות וקוליות לפי אפיון דמות ספציפי.

• הפקת מענה קולי מותאם

  יצירת קובצי דיבור מותאמים אישית על בסיס קלט קולי נתון.

• ניסוי במודל שמע ודיבור

  הערכת היכולות של המודל מבית אנבידיה בשילוב רכיבי מושי.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה נמצאת במצב שגיאה ולא נבנית בכלל. גם אם היא תעלה, המודל מתבסס על שפה מוגדרת מראש ומשקלי קול ספציפיים באנגלית, כך שאין כאן תמיכה בעברית או גמישות לקולות מותאמים אישית שלא קיימים בחבילה. אי אפשר לדעת מראש איך המודל מתמודד עם הקלטות מרועשות או שמע ארוך במיוחד.

איך משתמשים

נכנסים לממשק, מקלידים את הגדרת הדמות בתיבת הטקסט או לוחצים על אחת הדוגמאות המוכנות, ובוחרים קול מהרשימה. לאחר מכן מעלים שמע או מקליטים ישירות בנגן, ולוחצים על הכפתור הראשי להפקת התשובה.

הקוד משתמש בהקצאת חומרה מסוג zero-a10g של האגינג פייס, מה שאמור לספק מעבד גרפי חזק בזמן הריצה. עם זאת, נכון לעכשיו העמוד מדווח על שגיאת בנייה ולכן אי אפשר להריץ אותו בדפדפן בפועל עד שהיוצר יתקן את הקוד.

הרישיון

הרישיון של המרחב לא דווח כלל. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי, ולא ידוע מה הזכויות על הפלטים שנוצרים. לגבי קובצי השמע והטקסט שמעלים, הם נשלחים לשרתי האגינג פייס שמארחים את הממשק.

הרישיון המלא ב־Hugging Face ↗