MASSIVE
קוד פתוחqanastekרישיון לא דווח2022-04-23
מעל מיליון משפטי פקודה קוליים מקבילים בחמישים ואחת שפות עם תיוג כוונות וישויות. הבסיס נלקח מסייענים קוליים ומתאים ישירות לפיתוח בוטים ומערכות הפעלה קולית.
- 343הורדות בחודש
- 28לייקים
מה זה
המאגר כולל משפטי הוראות קצרות שנאספו במקור באנגלית עבור סייענים קוליים במסגרת מאגר קיים בשם SLURP. אנשי אמזון תרגמו והתאימו את המשפטים לחמישים ואחת שפות שונות בעזרת עובדי Mechanical Turk. בכל שפה תמצאו בדיוק תשעה עשר אלף חמש מאות עשרים ואחד משפטים, שמכסים שמונה עשר תחומי עניין שונים, שישים כוונות משתמש וחמישים וחמישה סוגי ישויות שונים.
המבנה של כל רשומה כולל את הטקסט המקורי הנקי, לצד גרסה מתויגת שבה הישויות מוקפות בסוגריים, ורשימת טוקנים עם תגיות זיהוי ישויות מספריות. בנוסף, כל משפט שומר תיעוד לגבי הדרך שבה העובד בחר לתרגם כל רכיב, אם המונח הועתק כפי שהוא, תורגם ישירות או עבר לוקליזציה מותאמת לתרבות המקומית. יש גם ציוני בקרת איכות של שופטים חיצוניים שבחנו את התחביר, האיות והתאמת המשמעות לשפת היעד.
החלוקה הפנימית אחידה בכל השפות ומכילה אחד עשר אלף חמש מאות וארבעה עשר משפטים לאימון, אלפיים שלושים ושלושה משפטים לפיתוח ובדיקה ראשונית, ועוד אלפיים תשע מאות שבעים וארבעה משפטים למבחן הסופי.
מתאים ל
- סיווג כוונות לפקודות קוליות
אימון מודל שמזהה מה המשתמש רוצה לבצע מתוך שישים כוונות מוגדרות מראש בשפות שונות.
- חילוץ ישויות ופרמטרים
שליפת שמות, זמנים, מקומות ותאריכים מתוך פקודות טקסט לפי חמישים וחמישה סוגי סלוטים.
- הערכת ביצועים בין שפות
בדיקת איכות של מודלי שפה על מערך נתונים מקביל לחלוטין בעברית ומול עשרות שפות אחרות.
איפה זה נופל
כל המשפטים נולדו כפקודות פשוטות לסייען קולי באנגלית אמריקאית, ולכן הם קצרים, פקודתיים ומוגבלים לאינטראקציה של פנייה אחת ללא שיחה מתמשכת. עבודת התרגום והלוקליזציה התבססה על פלטפורמת המונים, מה שמביא לפעמים לניסוחים נוקשים או תרגום מילולי שלא משקף סלנג מקומי טבעי. המאגר פורסם באפריל 2022 והוא מייצג עולמות תוכן סגורים של הפעלת שעונים, מוזיקה או תזכורות, כך שהוא לא יעזור למי שבונה מודל להבנת טקסטים ארוכים, מסמכים או דיאלוגים מורכבים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. קובץ הרישיון המצורף הוא CC-BY 4.0 של אמזון. מותר להשתמש בו לצרכים מסחריים, לאמן מודלים ולשנות את הנתונים, בתנאי שמספקים ייחוס מתאים ליוצרים.
האם יש תמיכה בעברית?
כן. עברית קיימת במאגר תחת הקוד he-IL עם אותה כמות נתונים בדיוק כמו בשאר השפות, כולל מעל תשעה עשר אלף משפטים מתורגמים ומחולקים לאימון ומבחן.
איך הנתונים נוצרו בפועל?
הבסיס הוא דאטהסט סייענים באנגלית בשם SLURP. צוותי אמזון העבירו את המשפטים והתיוגים שלהם תהליך של תרגום והתאמה מקומית דרך עובדים ב־Mechanical Turk, ולאחר מכן העבירו אותם בקרת איכות ושיפוט.
במה המאגר הזה שונה ממאגרים מקבילים?
הוא מציע כיסוי רחב של חמישים ואחת שפות שונות עם מבנה מקביל לחלוטין של אותם משפטים וכוונות. רוב המאגרים האחרים בתחום מציעים שפות בודדות או מספר קטן בהרבה של דוגמאות לכל שפה.
איך טוענים
טוענים את הנתונים דרך פקודת load_dataset רגילה של ספריית datasets, כשהמזהה הוא qanastek/MASSIVE. חובה לציין את קוד השפה והמדינה הספציפי, למשל he-IL לעברית או en-US לאנגלית, וכן את הפיצול הרצוי. אין צורך בבקשת גישה מיוחדת או באישור מקדים. השדות המרכזיים שתרצו למשוך הם utt עבור הטקסט הגולמי, intent לסיווג הכוונה הכללית, ו־annot_utt או ner_tags כדי לחלץ את הישויות והפרמטרים מתוך המשפט.
from datasets import load_dataset
ds = load_dataset("qanastek/MASSIVE")הרישיון
למרות שבחלק מהעמוד מופיע שהרישיון לא דווח, הטקסט המלא של הרישיון המצורף הוא Creative Commons Attribution 4.0 International מטעם אמזון. הרישיון הזה מתיר שימוש חופשי כולל שימוש מסחרי והתאמה של החומר, כל עוד אתם נותנים קרדיט מתאים. מודל שתאמנו על הדאטהסט לא מחייב אתכם לשחרר את הקוד או את המשקלים ברישיון פתוח.