StreamAudio-2M
קוד פתוחzhifeixiecc-by-4.02026-05-24
המאגר מרכז מעל שני מיליון קטעי קול שמסודרים כרצפי שיחה והאזנה מתמשכים. הוא פותר את הצורך בחיבור נתונים ממקורות שונים כשמאמנים סוכני קול או מודלי שפה מבוססי אודיו.
- 1,001הורדות בחודש
- 30לייקים
מה זה
כל רשומה במאגר מייצגת רצף קולי שלם שמכיל כמה תורות דיבור או צלילים לפי מבנה אחיד. הנתונים מחולקים לשישה קבצי jsonl לפי משימות שונות: תמלול בזמן אמת, תרגום דיבור מאנגלית לסינית, שיחות קוליות מרובות תורות, הבנת שמע כללית, תגובה יזומה של סוכן, והאזנה מודעת לסביבה בקטעים של דקה וחצי עד שלוש דקות.
חומרי הגלם לא הוקלטו מאפס אלא נאספו משורה של מאגרים מוכרים כמו LibriSpeech, CommonVoice, GigaSpeech, VoxPopuli לתמלול, CoVoST2 לתרגום, AudioSet ו־FMA להבנת סביבה, לצד קולות ממודלים כמו ElevenLabs ו־AudioX. כל תור ברצף מתועד עם מידע מפורט שכולל רגש, מילות מפתח, נתיב לקובץ, סוג סביבה כמו נהיגה, משרד או בישול, ומדדים פיזיקליים של האות.
מתאים ל
- אימון סייען קולי רציף
פיתוח מודלים לניהול שיחה קולית רציפה תוך זיהוי תורות דיבור והקשר סביבתי משתנה.
- תמלול בזמן אמת בנהיגה
אימון מערכות זיהוי דיבור שמתמודדות עם רעשי רקע מתועדים של רכב ותנועה.
- תרגום קול ישיר לסינית
בניית מודלים לתרגום דיבור ישיר מאנגלית לסינית מתוך רצפי שיחה מלאים.
איפה זה נופל
המאגר כולל שתי שפות בלבד, אנגלית וסינית. עברית לא קיימת כאן בכלל, כך שלאימון מודל מקומי הוא ידרוש עבודת התאמה ותרגום קולי מאפס. מעבר לזה, חלק מהשמע מגיע ממחוללים מלאכותיים, והרצפים עצמם נבנו כחיבורים מלאכותיים של מאגרים ישנים שנועדו במקור לקטעים בודדים ולא להזרמה חיה, דבר שעלול ליצור פער מול שיחות טבעיות בשטח.
שאלות
נפוצות
האם המאגר כולל דיבור בעברית?
לא. המאגר מוגדר ומכיל נתונים בשפות אנגלית וסינית בלבד. אם המטרה שלכם היא לפתח כלי שמבין או מדבר עברית, הנתונים כאן לא יסייעו לכם ישירות.
האם מותר להשתמש בדאטהסט לפיתוח מודל מסחרי?
הרישיון המוצהר במאגר הוא cc-by-4.0, שמתיר שימוש מסחרי תמורת מתן קרדיט ליוצר. עם זאת, כדאי לזכור שהנתונים מורכבים ממאגרי מקור מרובים, ולכן מומלץ לוודא שאין סתירה מול תנאי השימוש של אותם מקורות.
איך מחברים בין נתוני הטקסט לקובצי הקול?
פורקים את כל ארכיוני ה־tar שבתיקיית audio_tars לתוך תיקייה אחת בשם audio. ברשומות ה־jsonl, תחת המערך turns, השדה audio_path מכיל את הנתיב היחסי המדויק לקובץ השמע שנפרק.
במה הוא שונה ממאגרי שמע רגילים?
רוב מאגרי השמע מספקים קטעים בודדים ומנותקים של משפט אחד. כאן הקטעים חוברו לרצפים ארוכים של כמה תורות דיבור והאזנה, יחד עם נתוני סביבה ורמת אות אחידה לכל אורך הזרם.
איך טוענים
הנתונים מחולקים לקובצי טקסט בפורמט jsonl ולתיקיית audio_tars שמכילה קובצי tar לא דחוסים. אין צורך לבקש אישור גישה מיוחד כדי להוריד את המאגר. כדי לעבוד איתו צריך לפרוק את כל קובצי ה־tar לתוך תיקיית שמע ראשית, שכן השדה audio_path בכל תור מצביע על נתיב יחסי לתוכה. השדות החשובים לטעינה הם turns שכולל את רצף הדיאלוג והשמע, לצד נתוני הסטטיסטיקה של האות שמאפשרים סינון טכני מהיר.
from datasets import load_dataset
ds = load_dataset("zhifeixie/StreamAudio-2M")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. הרישיון הזה מתיר שימוש מסחרי, שינוי של הנתונים ושילוב שלהם במודלים חדשים, כל עוד אתם נותנים קרדיט מתאים ליוצר המקורי. אין כאן דרישה לשתף את המודל המאומן באותו הרישיון. עם זאת, מאחר שהמאגר מאגד קטעים ממאגרי מקור שונים כמו AudioSet ו־VoxPopuli, מומלץ לבדוק שתנאי השימוש של מקורות הגלם אינם מגבילים את הפרויקט שלכם מעבר לרישיון המוצהר כאן.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס