ThisSpeakerDoesNotExist

מה זה

התהליך מתבסס על שילוב בין רשת GAN לבין מודל הקראת טקסט (TTS). רשת ה־GAN מייצרת וקטור ייצוג קולי (speaker embedding) חדש לחלוטין, וזה מה שמגדיר את אופי הקול שמקריא את המלל שתזינו פנימה.

הממשק בנוי סביב הרעיון של עיצוב קול, ומציע מנגנוני שליטה שמשפיעים ישירות על הווקטור שנוצר. לפי התיאור בקוד, יש שם שילוב של בקרות אינטואיטיביות יחד עם חוקים היוריסטיים פשוטים, מה שנותן חופש לערוך ולשנות מאפיינים שונים בצליל של הדובר לפני שמפיקים את האודיו הסופי.

מתאים ל

• עיצוב קול להקראת טקסט

  יצירת פרופיל קול סינתטי חדש מאפס שאינו מבוסס על אדם אמיתי, לשימוש בקריינות של טקסטים.

• התאמת גוון דיבור

  משחק עם בקרות ה־GAN כדי לשנות מאפיינים של הדובר ולהגיע לתוצאה מותאמת אישית.

• הרצה ובדיקה מקומית

  הורדת הקוד והמודלים לשרת עצמאי כדי לחקור את טכניקת יצירת ה־embeddings ללא תלות ברשת.

איפה זה נופל

הבעיה המיידית היא שההדגמה שבורה ולא נטענת ברשת. מעבר לזה, הריצה מוגדרת למעבד בלבד בלי GPU, מה שמגביל מאוד את מהירות יצירת הקול. אין כאן גם שום עדות לתמיכה בשפות שאינן אנגלית, ובטח שלא בעברית.

איך משתמשים

כרגע אי אפשר ללחוץ על כלום בדפדפן כי המרחב נמצא במצב שגיאת בנייה (BUILD_ERROR) ולא עולה. אם מריצים את הקוד עצמאית, הכל מוגדר לרוץ על מעבד רגיל (cpu-basic או cpu בקוד), כך שייצור האודיו צפוי לקחת זמן ולא יהיה מיידי.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, מה שמאפשר שימוש חופשי בקוד, כולל התאמה לצרכים מסחריים. מאחר שהקוד רץ מקומית כשמורידים אותו, הקבצים והתוצרים נשארים על המחשב שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗