Marco_Longspeech
קוד פתוחATH-MaaSapache-2.02026-02-09
מאגר לאימון והערכת מודלי שפה על קטעי שמע ארוכים, שמכסה תמלול לצד הבנת הקשר והסקה. הוא רלוונטי למי שבונה יכולות מתקדמות מעבר להמרת קול לטקסט פשוטה.
- 1,389הורדות בחודש
- 18לייקים
מה זה
המאגר מכיל 101,822 קובצי אודיו בפורמט WAV שמחולקים לשלושה תתי מאגרים, ומציע 204,881 דוגמאות טקסטואליות שמחולקות לרכבות אימון, ולידציה ובדיקה. המבנה מאורגן לפי שמונה משימות שונות: תמלול שמע, תרגום משמע לטקסט, סיכום שיחות, זיהוי שפה, ספירת דוברים, ניתוח רגש, שאלות ותשובות עם עיגון זמני, והפרדת תוכן לא קשור כדי לבדוק עקביות.
כל רשומה בנויה במבנה של שיחה בפורמט JSONL. השדות כוללים את קוד השפה, סוג המשימה ומערך הודעות שבו המשתמש מפנה לקובץ האודיו עם הוראה טקסטואלית, והעוזר מחזיר את התשובה הצפויה. כרטיס הדאטהסט לא מפרט מה מקור קובצי הקול, כיצד הם הוקלטו או באילו כלים בוצע הסינון.
מתאים ל
- הערכת תמלול שמע ארוך
בדיקת יכולת המודל לתמלל הקלטות ארוכות באנגלית או בסינית ללא איבוד מילים.
- סיכום וניתוח שיחות
אימון מודלים להפקת תקצירים ולזיהוי רגשות מתוך רצף דיבור מתמשך.
- שאלות ותשובות מבוססות זמן
הערכת היכולת לאתר נקודות זמן ספציפיות בתוך שמע ארוך ולענות על שאלות לגביהן.
איפה זה נופל
המאגר מוגבל לשתי שפות בלבד, אנגלית וסינית, ואין בו שום תמיכה בעברית. בנוסף, רוב המשימות נשענות על תת קבוצה קטנה של 8,411 קובצי שמע בלבד, בזמן שמשימת התמלול לבדה לוקחת את כל 101,822 הקבצים, מה שיוצר חוסר איזון מובהק בין המשימות השונות.
כרטיס הדאטהסט לא מספק מידע על מקור ההקלטות, איכות השמע, רעשי רקע, מבטאים או הטיות אפשריות בתוכן. לפני שמשלבים את המאגר בסביבת ייצור, חובה לדגום ידנית את הקבצים כדי לוודא שהאיכות עומדת בדרישות שלכם.
שאלות
נפוצות
האם המאגר כולל עברית?
לא, המאגר תומך באנגלית ובסינית בלבד לפי התיעוד הרשמי. מי שמחפש לאמן או להעריך מודלים על דיבור בעברית לא ימצא כאן מענה.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון Apache 2.0 מאפשר שימוש מסחרי מלא באימון מודלים ובהערכה שלהם. הדרישה העיקרית היא הכללת עותק של הרישיון והודעת זכויות היוצרים של היוצרים המקוריים.
איך מחברים בין נתוני השאלות לקובצי השמע?
קובצי ה־JSONL כוללים נתיב יחסי לכל קובץ WAV תחת שדה ההודעות של המשתמש. עליכם להוריד את תיקיות השמע המלאות ולשרשר את הנתיב המקומי בקוד כדי לקרוא את קובץ הקול בפועל.
מה מקור קובצי האודיו במאגר?
כרטיס המאגר לא מפרט מאיזה מקור נאספו ההקלטות או כיצד עברו עיבוד וסינון. לפרטים מעמיקים יותר בנושא זה מומלץ לעיין במאמר המחקרי שפורסם סביב הפרויקט.
איך טוענים
אין צורך באישור גישה מיוחד כדי להוריד את המאגר. הטעינה נעשית דרך ספריית datasets באמצעות הפניה לקובצי ה־JSONL של המשימה הספציפית שמעניינת אתכם, למשל קובצי הרכבת, הוולידציה והבדיקה של תמלול.
הטקסטים מחזיקים נתיבים יחסיים לקובצי ה־WAV שנמצאים בשלוש תיקיות נפרדות. כדי לעבוד עם השמע עצמו, תצטרכו להוריד את הקבצים פיזית, לחבר את הנתיב המקומי של התיקייה לערך שמופיע בהודעת המשתמש, ולטעון את האודיו ידנית בקוד.
from datasets import load_dataset
ds = load_dataset("ATH-MaaS/Marco_Longspeech")הרישיון
המאגר מופץ תחת רישיון Apache 2.0. הרישיון מתיר שימוש מסחרי, שינוי של הנתונים והפצה מחדש, כולל אימון מודלים לצרכים פנימיים או מסחריים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והצהרת הרישיון המקורית, ואין חובה לשתף את המודל המאומן או את הנגזרות תחת אותו רישיון בדיוק.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים