ropes

מה זה

הנתונים כוללים 14,322 צמדי שאלות ותשובות שמבוססים על כאלף קטעי רקע. הטקסטים נאספו מספרי לימוד במדעים ומערכי ויקיפדיה, וסוננו ידנית כך שיכילו קשרים של סיבה ותוצאה. רוב החומר עוסק במדעי הטבע והחיים, עם נתח קטן של כלכלה.

עובדי מיקור חוץ יצרו עבור כל קטע רקע תרחיש חדש וניסחו שאלות שמחייבות לחבר בין התרחיש לבין חוקי הרקע. התשובות הן מקטעי טקסט ישירים מתוך השאלה או התרחיש עצמו, ולעיתים קרובות מדובר בבחירה בין ניגודים כמו יותר מול פחות.

המאגר מחולק לשלושה חלקים. יש כעשרת אלפים שאלות לאימון, כאלף ושש מאות לבדיקה, ועוד כאלף ושבע מאות למבחן. כדי לצמצם הטיות, כותבים שונים יצרו את סט האימון ואת סטי הבדיקה.

מתאים ל

• מבחן להבנת סיבתיות

  בדיקת יכולת המודל ליישם כלל פיזיקלי או כלכלי על סיטואציה חדשה.

• אימון הבנת הנקרא מרוכבת

  פיתוח מודלים לחילוץ תשובות שמבוססות על חיבור בין שני קטעי מקור שונים.

• הערכת עמידות להטיות

  בחינת ביצועים מול שאלות מנוגדות במבנה מינימלי למניעת ניחושים.

איפה זה נופל

הנתונים מוגבלים לחלוטין לשפה האנגלית ואין בהם מילה אחת בעברית. רוב השאלות בנויות באופן סינתטי של צמדים מנוגדים עם שתי תשובות אפשריות, מה שעלול לייצר קיצורי דרך למודלים ולא מייצג טקסט חופשי ומורכב של משתמשים. החומר המקורי נשען על מדע בסיסי וכלכלה, כך שאינו מייצג תחומי ידע אחרים, והוא פורסם במקור כבר ב־2019.

איך טוענים

המאגר זמין ישירות ללא צורך בהרשמה או אישור מיוחד, ומחולק לחמישה קבצים בפורמט פרקט שתופסים נפח קטן מאוד. כל רשומה כוללת מזהה, פסקת רקע, תיאור סיטואציה, שאלה ורשימת תשובות. צריך לשים לב שבסט המבחן שדה התשובות מגיע ריק, כי הוא שמור ללוח התוצאות הרשמי, כך שלצורך הערכה מקומית עצמאית תצטרכו להסתמך על סט הפיתוח.

from datasets import load_dataset

ds = load_dataset("allenai/ropes")

הרישיון

המאגר מופץ תחת רישיון CC BY 4.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו ולאמן עליו מודלים, בתנאי שנותנים קרדיט מלא למחברים ולמכון אלן לבינה מלאכותית. אין דרישה לשתף את המודל או את הנגזרות באותו הרישיון.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗