riddle_sense
קוד פתוחINK-USCother2022-03-02
מאגר שאלות היגיון וחידות רב ברירה באנגלית שבודק חשיבה מחוץ לקופסה. החוקרים בנו אותו כדי לבחון איפה מודלים נכשלים בהבנת שפה ציורית והיגיון בריא מורכב.
- 1,629הורדות בחודש
- 27לייקים
מה זה
המאגר מכיל כ־5.7k שאלות בסגנון חידות מילוליות במבנה של שאלת רב ברירה עם חמש אפשרויות לכל שאלה. כל רשומה כוללת את נוסח השאלה, מילון של תוויות ואפשרויות תשובה, ואת התשובה הנכונה המסומנת באות. הרשומות מיועדות למשימות הבנת שפה מתקדמת שדורשות יצירתיות לשונית ולא רק שליפת ידע יבש.
התוכן נאסף מאתרי מעריצים וקהילות חידות ברשת שהגישה אליהם חופשית. הכרטיס אינו מפרט את הליך הסינון, הניקוי או ההרחבה שבוצעו על הטקסטים המקוריים, אך החלוקה הפנימית מוגדרת היטב. המאגר מפוצל לשלושה חלקים מוכנים לעבודה: אימון עם 3,510 שאלות, אימות עם 1,021 שאלות, ומבחן סגור שכולל 1,184 שאלות נוספות.
מתאים ל
- הערכת היגיון מורכב
בדיקת יכולת המודל להתמודד עם שפה ציורית וחידות שלא נפתרות רק באמצעות שליפת עובדות.
- אימון ראשוני למחקר
כוונון עדין של מודלי שפה עבור משימות שאלות אמריקאיות במסגרת אקדמית בלבד.
- ניתוח כשלי שפה
בחינת הפער בין תשובות אנושיות לתשובות מודל במצבים שדורשים חשיבה עקיפה.
איפה זה נופל
הנתונים כולם באנגלית בלבד ומבוססים על חידות מאתרי רשת, מה שמייצר הטיה ברורה להומור, מטאפורות ומשחקי מילים מערביים. החוקרים מציינים מפורשות שהם אינם ערבים להטיות תוכן, סטראוטיפים או הגינות בתוך השאלות שנאספו. בנוסף, חסר מידע מהותי בכרטיס על הליך התיוג, האנוטטורים ואיכות הסינון. זה לא מתאים למוצר חי בלי בדיקה ידנית, ובטח לא לעברית ללא תרגום והתאמה תרבותית מלאה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. היוצרים הבהירו שהנתונים נאספו מאתרים חיצוניים תחת תנאי שימוש לא מסחריים. השימוש מותר למטרות מחקר בלבד ונאסר להפיץ את הדאטהסט מחדש.
האם יש במאגר תמיכה בעברית?
לא, כל החידות והתשובות כתובות באנגלית בלבד. כדי להשתמש בזה בעברית תצטרכו לתרגם ולהתאים את משחקי המילים, שלא תמיד עוברים תרגום ישיר.
מאיפה הגיעו השאלות והתשובות?
הטקסטים נאספו מאתרי מעריצים שפתוחים ברשת. כרטיס הדאטהסט לא מפרט מי האנשים שכתבו את החידות או כיצד בדיוק בוצע הסינון שלהן.
מה הגודל של המאגר והאם הטעינה שלו כבדה?
המאגר כולל בסך הכל כ־5.7k שאלות שמחולקות בין אימון, אימות ומבחן. מדובר בטקסט קצר בלבד ולכן הוא שוקל מעט מאוד ויורד תוך שניות.
איך טוענים
טוענים את המאגר ישירות דרך ספריית הדאטהסטים באמצעות המזהה הרשמי שלו, והוא נשען על סקריפט פייתון ייעודי שנמצא במאגר לצד קובץ התיעוד. אין כאן תהליך אישור גישה מיוחד בהאגינג פייס וההורדה מתבצעת מיד. בגלל שמדובר באלפי רשומות בודדות של טקסט קצר בלבד, המשקל הכולל של הקבצים זניח והטעינה מסתיימת בתוך שניות ספורות. בעת עיבוד הנתונים בקוד צריך לשים לב למבנה המקונן של שדה האפשרויות, שמכיל רשימה נפרדת של מזהי אותיות ורשימה מקבילה של מחרוזות הטקסט.
from datasets import load_dataset
ds = load_dataset("INK-USC/riddle_sense")הרישיון
הרישיון מוגדר כמותאם אישית ומגביל את השימוש למחקר בלבד. היוצרים מציינים שהזכויות שייכות לאתרי המקור, חל איסור מוחלט על שימוש מסחרי, ואין רשות להפיץ את הנתונים הלאה. מודל שאומן על הדאטהסט הזה לא יכול לשמש בסיס למוצר מסחרי.