indic_glue

מה זה

המאגר מורכב מתתי-משימות מגוונות שמכסות סיווג טקסט, הסקת מסקנות, זיהוי ישויות ושאלות רב-ברירה. המידע נשען על מקורות קיימים שעברו הרחבה והתאמה, כמו תרגומים של מבחני הבנה, טקסטים מאתרי חדשות וקטעים מתוך ויקיפדיה. כל תת-מערך מייצג משימה ושפה מסוימת, והמבנה כולל בין מאה אלף למיליון דוגמאות בסך הכל.

המבנה הפנימי משתנה לחלוטין מתת-מערך אחד לשני. בחלק מהמשימות כמו שאלות אמריקאיות מקבלים שאלות, מסיחים ואפשרויות שלא קשורות להקשר, בזיהוי ישויות מקבלים רשימות תגיות וטוקנים, ובמשימות סיווג מקבלים משפט בודד או זוג משפטים עם תוויות של קטגוריה או סנטימנט.

מתאים ל

• הערכת מודלים רב-לשוניים

  בדיקת יכולות הסקת מסקנות וסיווג במודלים שנחשפו לשפות דרום אסיה.

• זיהוי ישויות בשפות הודיות

  אימון מודלים לזיהוי שמות, מקומות וארגונים בטקסטים מבוססי ויקיפדיה בבנגלית, הינדי וטמילית.

• מדידת דמיון סמנטי

  בחינת יכולת של מודלים להתאים בין משפטים באנגלית למשפטים מקבילים בשפות הודיות שונות.

איפה זה נופל

הכיסוי בין השפות שונה באופן קיצוני. במשימות מסוימות כמו שאלות מרובות ברירה יש עשרות אלפי דוגמאות בשפות כמו בנגלית או טמילית, אבל פחות מאלפיים באורייה. נוסף על כך, תתי-מערכים רבים כוללים פיצול למבחן בלבד ללא סטים לאימון. מי שמחפש כיסוי לשפות שמיות לא ימצא כאן עברית או ערבית, אלא שפות מהתת-יבשת ההודית בלבד.

איך טוענים

טוענים את הנתונים דרך ספריית הדאטהסטים באמצעות ציון שם התצורה הרצויה, למשל צימוד של שם המשימה וקוד השפה כמו copa.hi או wiki-ner.bn. הקבצים שמורים בפורמט פרקט ואין צורך בהרשאת גישה מיוחדת להורדה. לפני שמתחילים לרוץ, חשוב לבדוק את שמות העמודות בתצורה שבחרתם, כי אין סכמה אחת שמשותפת לכל 144 הקבצים.

from datasets import load_dataset

ds = load_dataset("ai4bharat/indic_glue")

הרישיון

המאגר מסומן תחת רישיון other, ללא פירוט ברור של התנאים בכרטיס. מאחר שהוא אוסף משימות ממקורות שונים, לכל מקור עשויים להיות תנאים משלו. אי אפשר להניח שמותר להשתמש בו למוצרים מסחריים בלי לבדוק את המקורות המקוריים, וסביר להניח שהסיכון המשפטי נופל על מי שמאמן מודל.

הרישיון המלא ב־Hugging Face ↗