Fun-CosyVoice3-0.5B

מה זה

אתם מזינים טקסט להקראה, מעלים הקלטת קול או מקליטים ישירות במיקרופון, ומקבלים קובץ אודיו שמשחזר את גוון הקול שהזנתם. בנוסף להקלטה נדרש להזין גם תמלול מדויק של מה שנאמר בה, כדי שהמערכת תלמד את הקשר בין הצליל למילים. הממשק תומך גם בבחירת הנחיות סגנון כמו רגש, מהירות, ועוצמת דיבור.

מאחורי הקלעים רץ המודל Fun-CosyVoice3-0.5B-2512 יחד עם SenseVoiceSmall לפענוח קולי ורכיב ttsfrd לנרמול טקסט. המערכת תומכת בתשע שפות, ביניהן אנגלית, סינית, יפנית, גרמנית, צרפתית וספרדית, לצד יותר מ־18 ניבים סיניים. עברית אינה נתמכת ברשימת השפות הרשמית.

מתאים ל

• שיבוט קול מאודיו קצר

  שכפול גוון קול של דובר מתוך הקלטה של שניות בודדות והקראת טקסט חדש באנגלית או בשפות נתמכות אחרות.

• הפקת דיבור רב-לשוני

  יצירת קטעי שמע בתשע שפות וניבים שונים תוך שליטה בפרמטרים של מהירות וסגנון.

• בדיקת אינטונציה והנחיות

  בחינת השפעת הנחיות סגנון ורגש על אופן הקראת הטקסט באמצעות תפריט ההוראות המובנה.

איפה זה נופל

ההדגמה לא תעבוד טוב אם תעלו דגימת קול ארוכה מעשר שניות, שכן הקוד כולל אזהרה מפורשת וקוטע או פוסל הקלטות ארוכות מדי. כמו כן, אם קצב הדגימה של הקובץ נמוך מדי או ששוכחים להזין את תמלול ההקלטה, הפלט ייכשל או שההנחיות יתעלמו מהבקשה. המודל מתמקד בשפות המוצהרות ואין לו תמיכה מובנית בעברית.

איך משתמשים

בוחרים שפת ממשק, מדביקים את הטקסט שרוצים להקריא, ומעלים דגימת קול של עד 10 שניות יחד עם הטקסט שנאמר בה. יש אפשרות לקבוע סיד ליצירה עקבית, לבחור מצב הזרמה, וללחוץ על כפתור ההפקה. ההדגמה רצה על חומרת zero-a10g, מה שמספק עיבוד מהיר יחסית על גבי מאיץ גרפי, אבל עשויה להיות המתנה קצרה אם המשאב נרדם או אם יש תור משתמשים.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0 שמאפשר שימוש חופשי ושינוי קוד. יחד עם זאת, דף המודל מציין הבהרה משפטית לפיה התוכן מיועד למטרות אקדמיות בלבד, ולכן כדאי לבחון היבטי זכויות יוצרים על קולות וטקסטים לפני שימוש מסחרי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗