clue

מה זה

המאגר מאגד תת-מערכים למשימות שונות בסינית, ומחולק לחמש תצורות נפרדות לפי סוג המשימה. החלק הגדול ביותר הוא cmnli להסקה טקסטואלית עם מאות אלפי זוגות משפטים המסווגים לסתירה, גרירה או ניטרליות. לצדו נמצא afqmc שבודק התאמת כוונות בין זוגות משפטים עם תוויות אפס ואחת.

המשימות האחרות מתמקדות בהבנת הנקרא ורזולוציית כינויי גוף. תצורת c3 כוללת קטעי טקסט, שאלות ורשימת אפשרויות עם תשובה נכונה. תצורת chid מתמקדת בהשלמת ניבים מתוך רשימת מועמדים, ו־cluewsc2020 מכיל משפטים עם צמד מחרוזות ואינדקסים כדי לבדוק קשר בין שמות עצם לכינויים. כרטיס המאגר לא מפרט מאיפה הטקסטים נאספו במקור, מי יצר אותם או כיצד הם סוננו ותויגו.

מתאים ל

• הערכת מודלי שפה בסינית

  בדיקת יכולות הסקה ובחירה מרובה במודלים מול חלוקות הבדיקה המוכנות.

• אימון מסווגי כוונות בסינית

  שימוש בתת-המאגר afqmc להתאמת דמיון סמנטי בין משפטים.

• בדיקת הבנת הנקרא

  בחינת מענה על שאלות מתוך טקסט מורכב על גבי תצורת c3.

איפה זה נופל

הנתונים כולם בסינית בלבד, בלי אף מילה בעברית או באנגלית. הכרטיס לא מספק מידע על הטיות, סינון מידע אישי ורגיש, או תהליך בקרת האיכות של התיוג. לפני שילוב במודל ייצורי צריך לבדוק ידנית את איכות הטקסטים, במיוחד בהסקה הלוגית ובהבנת הניבים המקומיים.

איך טוענים

המאגר זמין כקבצי Parquet פתוחים ואין צורך בבקשת גישה מיוחדת. קבצי ההורדה שוקלים 198.68 מגה-בייט בסך הכל, וטעינה מלאה בדיסק תופסת 685.02 מגה-בייט. בגלל שהמבנה משתנה לחלוטין בין משימה למשימה, אי אפשר למשוך הכל יחד כטבלה אחידה. צריך לבחור מראש את תת-המאגר הרצוי, למשל cmnli למשפטים כפולים או c3 לקריאה רב-ברירתית, ולעבוד לפי השדות הייעודיים של אותו חלק.

from datasets import load_dataset

ds = load_dataset("clue/clue")

הרישיון

הרישיון מוגדר כלא ידוע. המשמעות היא שאין הרשאה מפורשת לשימוש מסחרי, אימון מודלים פתוחים או הפצה מחדש. כל שימוש מחוץ להערכה מחקרית פנימית חושף אתכם לסיכון משפטי, אלא אם תאתרו את תנאי השימוש הישירים באתר המקורי של הפרויקט.

הרישיון המלא ב־Hugging Face ↗