instruction-speech-encodec-v1

מה זה

הנתונים מבוססים על תת-קבוצה מתוך OpenHermes 2.5, כאשר נלקחו רק פרומפטים של משתמשים באורך של פחות מ־64. הטקסטים האלה לא הוקלטו על ידי בני אדם, אלא הומרו לקול באופן סינתטי בעזרת WhisperSpeech, ולאחר מכן עברו טוקניזציה באמצעות Encodec.

כל רשומה במאגר כוללת את הוראת המשתמש בטקסט, את התשובה הטקסטואלית של העוזר, את אורך השאילתה, את קובץ האודיו עצמו וייצוג של טוקנים מקודדים מבוססי Encodec. אין כאן חלוקה מוגדרת מראש לחלקי אימון ובדיקה נפרדים בכרטיס, והכל מוגש כמקשה אחת שמיועדת למשימות מענה על הוראות קוליות.

מתאים ל

• אימון מודל שמע לטקסט

  לימוד ישיר של מודלים לענות בטקסט להוראות קוליות בלי שלב תמלול ביניים.

• עבודה ישירה עם טוקנים

  אימון ארכיטקטורות שמקבלות ייצוג Encodec מוכן וחוסכות עיבוד שמע גולמי.

• מחקר על דיבור סינתטי

  בדיקת ההשפעה של נתוני אימון שנוצרו ב־WhisperSpeech על ביצועי מודלי שפה.

איפה זה נופל

הדיבור כאן סינתטי לחלוטין ונוצר במכונה, כך שאין גיוון אמיתי של מבטאים, רעשי רקע או דיבור אנושי טבעי. אין כאן אף מילה בעברית, כל המאגר באנגלית בלבד. הכרטיס מודה במפורש שאין בקרת איכות על הפרומפטים והתשובות שנלקחו מהמקור, שההטיות של OpenHermes עברו פנימה בשלמותן, ושהשימוש ב־Encodec עלול לפגוע באיכות של טוקני הקול. אם אתם בונים מוצר אמיתי, קחו בחשבון שהמודל לא פגש משתמש בשר ודם.

איך טוענים

טוענים אותו ישירות דרך הספרייה של Hugging Face בפקודת load_dataset רגילה על הפיצול train, בלי צורך בבקשת גישה מיוחדת. המאגר מפוצל ל־401 קובצי arrow, כך שמדובר בנפח הורדה משמעותי שמחייב חיבור יציב ומקום פנוי בדיסק. השדות המרכזיים לעבודה הם audio אם רוצים לגשת ישירות לאודיו, או tokens אם אתם עובדים ישירות עם הייצוג הדחוס של Encodec לצד הטקסט של answer.

from datasets import load_dataset

ds = load_dataset("Menlo/instruction-speech-encodec-v1")

הרישיון

הרישיון הוא MIT. מותר להשתמש בנתונים לצרכים מסחריים ומחקריים, לשנות אותם ולשלב אותם בקוד סגור, בלי חובה לשתף נגזרות באותו רישיון. החובה היחידה היא שמירת הקרדיט והודעת הרישיון המקורית. זה אומר שמותר לאמן עליו מודלים מסחריים בלי הגבלות הפצה מיוחדות מצד הרישיון הזה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗