MaskGCT

מה זה

במקום לעבוד עם מודל אחד כבד, הפרויקט הזה מחלק את משימת הדיבור לכמה שלבים נפרדים. יש כאן שני רכיבי קודק, סמנטי ואקוסטי, לצד מודל שממיר טקסט לטוקנים סמנטיים ומודל נוסף שממיר אותם לטוקנים אקוסטיים. הגישה הזו משתמשת בלמידה מוסתרת כדי לחזות את המאפיינים של הקול, בלי להסתמך על ארכיטקטורות אוטורגרסיביות רגילות שנוטות להיתקע בהזיות שמע.

האימון עצמו נשען על מאגר Emilia בהיקף של מאה אלף שעות דיבור באנגלית ובסינית, מחצית מהכמות לכל שפה. המבנה המודולרי מאפשר להשתמש ברכיבים השונים בנפרד, כולל בחירה בין גרסה של שכבה אחת לגרסה מלאה בשלב המעבר בין הייצוג הסמנטי לאקוסטי.

מתאים ל

• שכפול קול באנגלית

  יצירת קריינות קולית מותאמת אישית מתוך דגימת שמע קצרה בלבד, בלי לאמן את המודל מחדש.

• מחקר קודקים של שמע

  ניתוח והפרדה בין ייצוג טוקנים סמנטיים לייצוג אקוסטי בפרויקטים אקדמיים.

• דיבוב לסינית ואנגלית

  הפקת דיבור על בסיס מאגר ענק של מאה אלף שעות בשתי השפות המרכזיות האלו.

איפה זה נופל

הבעיה המרכזית עבור קהל מקומי היא השפות. למרות שמתויגות שם שפות נוספות כמו צרפתית, גרמנית, יפנית וקוריאנית, האימון המוצהר מכיל רק אנגלית וסינית. עברית בכלל לא קיימת בנתונים, כך שאי אפשר לייצר איתו דיבור בעברית.

נוסף על כך, הפיצול לארבעה מודלים שונים מסבך את התהליך. שרשור של ארבע תחנות שונות יוצר צוואר בקבוק של זמני תגובה, מה שעלול להקשות על שימוש במערכות שדורשות מענה בזמן אמת.

איך מריצים

כדי להריץ אותו צריך להוריד תשעה קבצים שונים ששוקלים יחד 6.1 גיגה בייט. תצטרכו לשבט את המאגר של Amphion מגיטהאב, להריץ סקריפט סביבה ייעודי, ולהוריד את כל המשקולות באופן ידני או דרך הספרייה של Hugging Face.

מבחינת חומרה, הנפח הכולל של הקבצים דורש כרטיס מסך עם לפחות שמונה עד שתים עשרה גיגה בייט של זיכרון כדי לטעון את כל החלקים יחד. אם אתם צריכים בדיקה חד פעמית, יש להם דמו חי בחינם ב־Hugging Face Spaces וחבל להרים בשבילו שרת מקומי.

pip install -U huggingface_hub
hf download amphion/MaskGCT

הקבצים

9 קבצים במאגר, 6.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• t2s_model/model.safetensors3.0 GB
• s2a_model/s2a_model_full/model.safetensors1.4 GB
• s2a_model/s2a_model_1layer/model.safetensors1.3 GB
• acoustic_codec/model_1.safetensors512.8 MB
• semantic_codec/model.safetensors177.2 MB
• acoustic_codec/model.safetensors170.2 MB
• README.md6.5 KB
• .gitattributes1.5 KB
• config.json92 B

הרישיון

הרישיון הוא cc-by-nc-4.0. המשמעות פשוטה: אין שימוש מסחרי מכל סוג שהוא. אם אתם מפתחים מוצר, אפליקציה בתשלום או כלי פנימי לחברה עסקית, אסור לכם להשתמש במשקולות האלה. מותר להשתמש בהן רק למחקר, ניסויים אישיים ופרויקטים לא מסחריים, תוך מתן קרדיט ליוצרים.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗