hifitts-2
קוד פתוחnvidiacc-by-4.02025-05-12
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
מאגר מטא-דאטה ענק לדיבור איכותי שממפה עשרות אלפי שעות מתוך ספרי שמע. הוא מיועד למי שרוצה לאמן מודלים קוליים עם רוחב פס גבוה ותדרי דגימה של עשרים ושניים או ארבעים וארבעה קילו-הרץ.
- 915הורדות בחודש
- 33לייקים
מה זה
המאגר כולל מטא-דאטה עבור כ־36.7 אלף שעות שמע מוקלט מ־5,000 דוברים, שמקורן בספרי השמע הפתוחים של LibriVox בקצב דגימה מקורי של 48 קילו-הרץ. אנבידיה לא מחזיקה כאן את קובצי האודיו עצמם אלא רק את קובצי ה־JSON שממפים אותם, כולל כתובות להורדה, זיהוי דוברים ותמלולים. המאגר מחולק לשתי גרסאות מסוננות מראש לפי רוחב פס: גרסת הבסיס שמתאימה לאימון ב־22 קילו-הרץ, ותת-קבוצה נקייה ורחבה יותר בהיקף של 31.7 אלף שעות שמיועדת לאימון ב־44 קילו-הרץ.
הנתונים מאורגנים בשתי רמות: רמת הפרק ורמת מקטע הדיבור הבודד. ברמת הפרק תמצאו קישור להורדה ישירה, משך הזמן והערכת רוחב הפס שחושבה לפי שלושים השניות הראשונות של ההקלטה. ברמת המקטע, המאגר מספק חלוקה לסטים של אימון ובדיקה עם דוברים שנראו או לא נראו, משך המקטע, מספר הדוברים שזוהו בו, ציוני שגיאות מילים ותווים ממודל זיהוי דיבור, והתמלול המקורי לצד טקסט שעבר נירמול.
מתאים ל
- אימון מודלי הקראת טקסט
בניית מודלי TTS שמפיקים קול באיכות גבוהה של עשרים ושניים או ארבעים וארבעה קילו-הרץ.
- אימון זיהוי דיבור מרובה
הערכת ואימון מערכות ASR על אלפי דוברים שונים עם תמלול מקורי ומנורמל.
- הפרדת דוברים וזיהוי קול
שימוש במטא-דאטה של מזהי הדוברים ומספר הדוברים במקטע לפיתוח מודלי זיהוי דובר.
איפה זה נופל
ההקלטות מבוססות כולן על פרויקט LibriVox שמתמקד בספרי שמע באנגלית בלבד, ולכן אין כאן שום ייצוג לעברית או לשפות אחרות. הנתונים מגיעים מהקראת ספרים ישנים, מה שאומר שהסגנון, השפה והאינטונציה הם של הקראת פרוזה ולא של שיחה טבעית או שירות לקוחות. איכות ההקלטות משתנה כי כל מתנדב מקליט בציוד ביתי אחר, אף על פי שאנבידיה סיננה את הנתונים לפי רוחב פס. בנוסף, ההסתמכות על הורדת טרה-בייטים של מידע משרתים חיצוניים עלולה להוביל לשגיאות הורדה וקבצים שבורים בזמן ההקמה הראשונית.
שאלות
נפוצות
האם המאגר כולל עברית?
לא. המאגר מבוסס על ספרי השמע של LibriVox ומכיל אנגלית בלבד. אם אתם מחפשים דאטה בעברית תצטרכו לפנות למקורות אחרים.
האם קובצי השמע נמצאים ב־Hugging Face?
לא, המאגר ב־Hugging Face כולל רק קובצי מטא-דאטה בפורמט JSON. את קובצי האודיו צריך להוריד ישירות משרתי LibriVox באמצעות סקריפט של NeMo.
כמה מקום בדיסק צריך כדי להוריד את השמע?
הגרסה של 22 קילו-הרץ דורשת כ־2.8 טרה-בייט של מקום פנוי, ואילו הגרסה של 44 קילו-הרץ דורשת כ־4.0 טרה-בייט. תצטרכו להכין מראש נפח אחסון משמעותי.
האם מותר להשתמש במאגר למטרות מסחריות?
כן, הרישיון המוגדר הוא CC-BY-4.0 שמתיר במפורש שימוש מסחרי. הדרישה העיקרית היא מתן קרדיט מתאים ליוצרים.
איך טוענים
המאגר מכיל רק שישה קבצים קלים של מניפסטים בפורמט JSON, ללא צורך באישור גישה מיוחד. כדי להשיג את קובצי השמע עצמם צריך להריץ סקריפט ייעודי של כלי NeMo Speech Data Processor שמוריד את ההקלטות ישירות משרתי LibriVox. קחו בחשבון שמדובר בהורדה מסיבית: גרסת ה־22 קילו-הרץ דורשת כ־2.8 טרה-בייט מקום פנוי בדיסק, וגרסת ה־44 קילו-הרץ דורשת כ־4.0 טרה-בייט. הסקריפט מתמודד עם שגיאות רשת, מדלג על כשלים ויוצר מניפסט מסונן חדש עם המקטעים שהצליחו לרדת.
from datasets import load_dataset
ds = load_dataset("nvidia/hifitts-2")הרישיון
המאגר מופץ תחת רישיון Creative Commons Attribution 4.0 שמתיר שימוש מסחרי ומחקר חופשי. מותר לעבד את הנתונים, להפיץ אותם ולאמן עליהם מודלים בלי לחייב אתכם לפתוח את הקוד או את המודל שלכם תחת אותו רישיון. החובה היחידה היא לתת קרדיט הולם ליוצרים המקוריים ולציין שינויים שביצעתם.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס