xglue

מה זה

המאגר מרכז בתוכו 11 משימות שונות שמחולקות לשני תחומים עיקריים, הבנת שפה טבעית ויצירת שפה טבעית. המבנה הבסיסי כולל אימון באנגלית בלבד, לצד בדיקה ואימות בשפות רבות. חלק מהמשימות נלקחו ממאגרים ציבוריים מוכרים כמו זיהוי ישויות, תיוג חלקי דיבר, מענה לשאלות, וזיהוי שקילות בין משפטים.

בנוסף למשימות המוכרות, הוא כולל 6 משימות שנאספו מתרחישים פנימיים של מנוע החיפוש בינג. אלה כוללות סיווג חדשות, התאמת שאילתות לפרסומות, דירוג דפי רשת, התאמת שאלות לתשובות, יצירת שאלות ויצירת כותרות לכתבות. הרשומות מופיעות בפורמטים מגוונים, החל מרשימות של מילים ותגיות ועד זוגות טקסטים, פסקאות הקשר ושאלות.

מתאים ל

• הערכת מודלים רב לשוניים

  בדיקת יכולת של מודל שפה לעבור מאנגלית לשפות זרות במשימות סיווג ויצירה.

• בדיקת דירוג שאילתות

  הערכת ביצועים של מנועי חיפוש על משימות דירוג דפים והתאמת מודעות.

• מבחן ביצועים ביצירת טקסט

  השוואת מודלים גנרטיביים ביצירת שאלות וכותרות חדשות בשפות שונות.

איפה זה נופל

האימון מתבצע באנגלית בלבד, כך שהוא לא יעזור למי שמחפש לשפר מודל ישירות על נתוני אימון בשפות מקומיות. עברית נעדרת לחלוטין מכל 11 המשימות, מה שהופך אותו ללא רלוונטי לבדיקות מקומיות. הנתונים מתרחישי החיפוש נאספו בסביבת מנוע מסחרי ועלולים לשקף הטיות של שאילתות משתמשים ופרסומות. בנוסף, חלוקת השפות בבדיקות אינה אחידה, ורובן נשענות על שפות אירופיות נפוצות לצד ייצוג מוגבל לשפות אסיאתיות.

איך טוענים

טוענים את המאגר דרך ספריית הדאטהסטים של הגינג פייס עם שם המשימה הספציפית כקונפיגורציה, כמו ניר או פוס. אין צורך באישור גישה מוקדם, והקוד מוריד את הקבצים אוטומטית לפי התצורה שנבחרה. חשוב לשים לב שהמבנה של השדות משתנה לחלוטין בין משימה למשימה, כך שמשימת ישויות תחזיר טוקנים ותגיות, בעוד שמשימת שאלות תחזיר הקשר, שאלה ומיקומי תשובות.

from datasets import load_dataset

ds = load_dataset("microsoft/xglue")

הרישיון

הרישיון מוגדר כ־other, כלומר תנאים ייחודיים שאינם רישיון קוד פתוח סטנדרטי. חלק מהמשימות נשענות על מאגרי מקור חיצוניים עם תנאים משלהם, וחלקן על נתוני בינג של מיקרוסופט. אסור להניח שמותר להשתמש בו למוצרים מסחריים, ויש לבדוק את תנאי השימוש במאמר המקורי לפני אימון מודל להפצה.

הרישיון המלא ב־Hugging Face ↗