amazon_massive_intent

מה זה

הרשומות מכילות משפטים קצרים מתחום הדיבור היומיומי, דוגמת בקשות להפעלת מוזיקה, בירור מזג אוויר, כיבוי אורות וקביעת פגישות ביומן. לכל רשומה מוצמדת תווית כוונה מתוך עשרות תוויות מוגדרות מראש, כמו שאלות על לוח שנה או שליטה במכשירים חכמים. הנתונים מתועדים כחלק ממחקר רחב היקף על הבנת שפה טבעית בקרב 51 שפות.

המבנה מחולק לקובצי הערכה ובדיקה לפי שפות שונות, כאשר המאגר המקורי מבוסס על תרגום והתאמה של ביטויי סייען וירטואלי. בקובצי המאגר הנוכחיים שמורים נתוני מבחן ואימות, כשהטקסטים קצרים במיוחד ועומדים על ממוצע של כארבעים ושלושה תווים למשפט.

מתאים ל

• בדיקת מודלי שיבוץ

  הרצת סיווג כוונות דרך ספריית הבנצ'מרק כדי לבדוק דיוק של ייצוגי טקסט.

• אימון סייען קולי רב לשוני

  זיהוי כוונות משתמש עבור פקודות IoT, בירורי מוזיקה ושליטה ביומן בשפות נתמכות.

• מערכות ניתוב הודעות

  סיווג משפטי משתמש קצרים ישירות לקטגוריות ביצוע מוגדרות מראש.

איפה זה נופל

אם אתם מכוונים לשוק הישראלי, עברית אינה מופיעה ברשימת השפות של המאגר הזה. הנתונים מוגבלים מאוד לתחום העוזרים האישיים והבית החכם, כך שהם לא משקפים שיחות שירות ארוכות או טקסטים עסקיים מורכבים. בנוסף, קיימת חפיפה של כמה אלפי טקסטים בין סטי האימות והבדיקה לבין נתוני האימון.

איך טוענים

טוענים את המשימה ישירות בקוד פייתון דרך חבילת mteb, בלי צורך באישור גישה ידני או בהרשמה מוקדמת. המאגר מכיל 156 קבצים דחוסים בפורמט json.gz המחולקים לפי קודי שפות, יחד עם קובצי הגדרות של הבנצ'מרק. השדות החשובים לשימוש הם טקסט הפקודה ותווית הסיווג המשויכת אליו לצורך חישוב הדיוק של מודל השיבוץ.

from datasets import load_dataset

ds = load_dataset("mteb/amazon_massive_intent")

הרישיון

המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, מחקרי ופרטי, כולל שינוי של המידע והפצה שלו. מותר לאמן עליו מודלים מסחריים, בתנאי ששומרים על תנאי הייחוס ומצרפים את נוסח הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗