Galgame_Speech_ASR_16kHz
קוד פתוחlitagingpl-3.02024-10-10
מעל 5,350 שעות של דיבוב יפני מרומנים חזותיים עם תמלול מלא. הוא נבנה כדי לאמן מודלי זיהוי דיבור כמו וויספר על סגנון דיבור מוקצן של אנימה שאין במאגרי דיבור רגילים.
- 402הורדות בחודש
- 48לייקים
מה זה
המאגר כולל 3,746,131 קבצי אודיו מסוג מונו בפורמט OGG שנדגמו מחדש ל־16 קילוהרץ עם עוצמה מונמכת קלות למניעת עיוותים. לכל הקלטה מצורף קובץ טקסט תואם עם התמלול המדויק מתוך המשחקים המקוריים של מאגר המקור OOPPEENN/Galgame_Dataset. שמות הקבצים הוחלפו במחרוזות גיבוב אקראיות, כך שאין רצף עלילתי או קשר ישיר בין קטעים מאותו משחק.
היוצר סינן קטעים שאורכם מעל 30 שניות, מחק הקלטות שהיו להן כמה גרסאות תמלול סותרות, ונפטר מתווים ריקים ומקפים. חזרות מיותרות של אותיות וסימני פיסוק צומצמו לשני מופעים לכל היותר, והטקסט הוגבל לתווי קאנג'י, היראגאנה, קטאקאנה, אלפבית לטיני, מספרים וקומץ סמלים מקובלים.
מתאים ל
- אימון זיהוי דיבור לאנימה
התאמת מודלים כמו וויספר לקולות של מדבבים יפנים מקצועיים וסגנון משחק מוגזם.
- בנצ'מרק למודלי דיבור ביפנית
בדיקת דיוק של מודלי ASR מול תמלול מדויק של מעל שלושה מיליון משפטים.
- זיהוי תכני NSFW קוליים
אימון מודלים לזהות אנחות וקולות מפורשים ממשחקים שמודלים כלליים לא מזהים כרגע.
איפה זה נופל
הדיבור מגיע מרומנים חזותיים ולכן מבוסס על משחק מוגזם שרחוק מאוד משיחה יפנית טבעית ברחוב. המאגר סובל מהטיה מגדרית מובהקת עם רוב מוחלט לקולות נשיים, ומכיל תכני NSFW מפורשים כולל אנחות וקולות יניקה. איכות הצליל מוגבלת ל־16 קילוהרץ ולכן המאגר לא מתאים לאימון מודלי הקראה (TTS) או שיבוט קול (VC). בנוסף, אין כאן שפות אחרות מלבד יפנית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא. המפרסם אוסר במפורש כל פעילות מסחרית עם המאגר או עם מודלים שאומנו עליו. כדי להשתמש בו באופן מסחרי צריך לקבל אישור מכל מפתחות המשחקים המקוריות, דרישה שהיוצר עצמו ציין בלעג כבלתי אפשרית.
כמה שטח אחסון צריך כדי להוריד את כל הדאטהסט?
הנפח הכולל הוא 100.16 גיגהבייט. הוא ארוז ב־115 קבצי tar, כך שאפשר לעבוד איתו בהזרמה או להוריד אותו בחלקים בלי לפתוח את הכל מראש למערכת הקבצים.
האם יש במאגר עברית או שפות נוספות?
אין בו שום שפה חוץ מיפנית. קובצי הטקסט מוגבלים לתווי כתב יפניים, מספרים ותווים לטיניים בסיסיים, ולא יועילו לפרויקטים בשפות אחרות.
מה החיסרון העיקרי לעומת מאגרי דיבור מקצועיים?
איכות הדגימה נמוכה יחסית ועומדת על 16 קילוהרץ בלבד, מה שפוסל אותו ליצירת דיבור. מעבר לזה, הדיבור שייך לשחקני קול של רומנים גרפיים ולכן יש בו הטיה חזקה לקולות נשיים ולמשחק תיאטרלי שלא מייצג דיבור יומיומי.
איך טוענים
טוענים את הנתונים דרך ספריית Datasets עם ציון המזהה litagin/Galgame_Speech_ASR_16kHz, ורצוי להפעיל סטרימינג כדי לא להוריד את כל המאגר בבת אחת. הנפח הכולל מגיע ל־100.16 גיגהבייט והוא מחולק ל־115 קבצי tar במבנה WebDataset, כשכל קובץ שוקל כ־897 מגהבייט ומכיל עד 32,768 זוגות של קול וטקסט. המאגר פתוח להורדה ישירה בלי צורך בטופס גישה.
from datasets import load_dataset
ds = load_dataset("litagin/Galgame_Speech_ASR_16kHz")הרישיון
הרישיון הוא GPL-3.0, אבל המפרסם הוסיף איסור מוחלט על שימוש מסחרי מכל סוג. כל מודל שתאמנו על הנתונים חייב להשתחרר בקוד פתוח. אם תרצו להשתמש בזה למטרה מסחרית, תיאלצו להשיג אישור מכל אחת מחברות המשחקים שהקולות נלקחו מהן, מה שהופך שימוש כזה לבלתי אפשרי בפועל.