AI_TalkingFlower

מה זה

אתם מקלידים טקסט בתיבת ההזנה, בוחרים שפה מתוך שלוש אפשרויות שכוללות סינית, אנגלית או יפנית, ומקבלים קובץ שמע שמתנגן ישירות בדפדפן. הממשק מכיל קטגוריות מוכנות מראש של דוגמאות טקסט, בהן מחמאות, שורות מתוך משחקים וממים, כך שלא חייבים להמציא משפטים לבד כדי לבדוק איך זה נשמע.

מאחורי הקלעים הקוד מתבסס על ניתוח לשוני עם מילון CMU של ספריית NLTK, ומריץ את המודל audeering/wav2vec2-large-robust-12-ft-emotion-msp-dim. המודל הזה מתמחה בזיהוי ממדי רגש מתוך דיבור, מה שמעיד על ניסיון לחבר בין ניתוח אינטונציה ורגש לבין הפקת הקול של הדמות. בממשק יש גם לשוניות עתידיות לצ'אט ולחיקוי קול, אך כרגע רק הפקת הדיבור מוגדרת להפעלה.

מתאים ל

• השמעת משפטי משחק

  הפקת שורות קוליות של הפרח המדבר באנגלית, סינית או יפנית מתוך טקסט מוכן.

• הקראת ממים ומחמאות

  בדיקת תבניות הטקסט המובנות בממשק להשמעת בדיחות או מילות עידוד קצרות.

• בחינת מודל רגש בדיבור

  בדיקה מעשית של שילוב מודל הרגש מסדרת wav2vec2 בעיבוד קולי.

איפה זה נופל

הבעיה המרכזית היא שהיישום נמצא כרגע במצב של תקלת הרצה ואינו עובד בדפדפן. מעבר לכך, לשוניות הצ'אט וחיקוי הקול חסומות ומוגדרות לפיתוח עתידי, ושדה מפתח הגישה לא פעיל. המודל שנטען עוסק בכלל בזיהוי רגש ולא ביצירת שמע מאפס, ואין תמיכה בעברית.

איך משתמשים

נכנסים לממשק, בוחרים שפה בתפריט, כותבים עד ארבע שורות טקסט ולוחצים על כפתור Speak. ההדגמה פועלת על מעבד בסיסי רגיל, כך שזמן העיבוד עשוי לקחת כמה שניות לכל משפט. כרגע מוגדרת שגיאת ריצה בעמוד, כך שאי אפשר להפיק סאונד בפועל עד שהיוצר יתקן את הקוד.

הרישיון

היוצר לא פרסם רישיון שימוש עבור הקוד או התוצרים. במצב כזה כל הזכויות שמורות לו, ואי אפשר לדעת אם מותר להשתמש בקובצי הקול לפרויקטים אישיים או מסחריים.

הרישיון המלא ב־Hugging Face ↗