GLOBE
קוד פתוחMushanWcc0-1.02024-06-08
מאגר קול מגוון באנגלית שנועד לפתור בעיות דיוק במבטאים מרחבי העולם. הוא מרכז 535 שעות דיבור מסוננות ומכיל אלפי דוברים בעלי 164 מבטאים שונים.
- 1,356הורדות בחודש
- 32לייקים
מה זה
המאגר מבוסס במקור על Common Voice, אך עבר סינון קפדני ושיפור איכות כדי להתאים לאימון מודלים קוליים. בעוד שבמאגר המקורי חסרים לעיתים נתונים על הדוברים, כאן השלימו את המטא-דאטה החסר במלואו. בסך הכל נכללים בו קולות של 23,519 דוברים שונים מרחבי העולם עם 164 מבטאים מתועדים באנגלית, כולם בקצב דגימה של 24kHz.
מבחינת המבנה, הנתונים מחולקים לקובצי Parquet שכוללים פיצול עיקרי לאימון עם 109 קבצים, לצד קובץ יחיד שמיועד לבדיקה. החלוקה הזו נועדה לפתור בעיות של התאמת דוברים במערכות יצירת דיבור, תחום שבו מאגרים מוכרים כמו LibriTTS או VCTK מציגים ביצועים פחות טובים עקב חוסר גיוון גלובלי במבטאים.
מתאים ל
- אימון זיהוי קולי רב מבטאי
שיפור מודלי זיהוי דיבור באנגלית מול משתמשים עם מבטא זר, בעזרת 164 מבטאים מוגדרים מראש.
- סינתזת קול מותאמת דובר
אימון מודלי יצירת שמע בגישת אפס דוגמאות, במטרה לשמור על דמיון קולי מול דוברים שאינם ילידיים.
- סיווג מבטאים ומאפייני קול
בניית מסווגים לקול על בסיס מטא-דאטה מקיף שמשויך ל־23,519 דוברים שונים.
איפה זה נופל
היוצרים עצמם מציינים כי בגרסה הראשונית הזו קיימת בעיה של עוצמות שמע חריגות בהקלטות, ולכן הם מפנים לגרסאות V2 או V3 שבהן התקלה תוקנה ונוספו סימוני איכות ומידע מזהה. בנוסף, כל הנתונים הם בשפה האנגלית בלבד, כך שאין כאן שום מענה לעברית או לשפות מקומיות אחרות. מי שמחפש להשתמש בחומרים למערכות ייצור חייב לקחת בחשבון את פערי הווליום הללו, לבצע נרמול ידני לקבצים, או לעבור ישירות לגרסאות המעודכנות שהוציאו החוקרים.
אותה משפחה
GLOBE יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, המאגר מסומן ברישיון CC0 1.0 שמקנה פטור מלא מזכויות יוצרים. אפשר לאמן עליו מודלים מסחריים ולהשתמש בפלט לכל מטרה. אין חובה לתת קרדיט או לפתוח את הקוד שלכם.
האם יש במאגר הקלטות בשפה העברית?
לא, כלל הנתונים מכילים הקלטות באנגלית בלבד. המגוון מתבטא אך ורק במבטאים שונים של דוברי אנגלית מכל העולם. אין בו משפטים או דוברים בעברית.
במה הוא שונה מ־Common Voice הרגיל?
החוקרים לקחו את ההקלטות מתוך Common Voice אך ביצעו סינון רעשים, שיפור איכות והשלמה ידנית של מטא-דאטה חסר. התוצאה היא 535 שעות שמע נקיות יותר בקצב דגימה של 24kHz עם שיוך מלא ל־164 מבטאים.
מדוע היוצרים ממליצים להשתמש בגרסה אחרת שלו?
בגרסה הזו התגלתה בעיה של עוצמת קול לא אחידה וחריגה בהקלטות. היוצרים ממליצים להשתמש בגרסת V2 שבה הבעיה נפתרה, או בגרסת V3 שכוללת גם תיוגי איכות נוספים. אם מתעקשים לעבוד עם הגרסה הנוכחית, תידרש עבודת נרמול שמע עצמאית.
איך טוענים
טוענים את הנתונים דרך ספריית datasets של Hugging Face ישירות מקובצי ה־Parquet, ללא צורך בהרשאת גישה מיוחדת או אישור מקדים. המאגר מורכב מ־112 קבצים, כאשר חלק האימון פרוס על פני 108 קובצי משנה ממוספרים, לצד קובץ הבדיקה הבודד וקובץ התיעוד. לפני שמתחילים להוריד, קחו בחשבון שמדובר ב־535 שעות שמע מלאות הדורשות נפח אחסון משמעותי ותעבורת רשת רחבה. השדות החשובים כוללים את קובצי האודיו עצמם והמטא-דאטה המפורט שנבנה עבור המבטאים והדוברים.
from datasets import load_dataset
ds = load_dataset("MushanW/GLOBE")הרישיון
הרישיון המדווח הוא CC0 1.0, שמשמעותו שחרור לרשות הציבור ללא דרישות ייחוס וללא הגבלות על שימוש מסחרי. מותר לאמן עליו מודלים, לשלב אותם במוצרים מסחריים סגורים או פתוחים, ולשנות את הנתונים כרצונכם מבלי לחלוק את השינויים תחת אותו הרישיון.