logiqa-zh
קוד פתוחjiacheng-yeרישיון לא דווח2023-04-17
שאלות היגיון רב ברירה מתוך מבחני הקבלה לשירות המדינה בסין. המאגר מיועד לבדיקה של יכולות הסקה וחשיבה ביקורתית במודלים של שפה.
- 367הורדות בחודש
- 29לייקים
מה זה
הנתונים מגיעים ישירות ממבחנים ציבוריים של שירות המדינה בסין, שנבנו כדי לסנן מועמדים לפי חשיבה ביקורתית ופתרון בעיות לוגיות. כל רשומה כוללת קטע טקסט קצר שמשמש כהקשר, שאלה שבודקת את ההיגיון שעומד מאחוריו, רשימה של ארבע אפשרויות בחירה, ומספר המצביע על התשובה הנכונה.
המאגר כולל את הגרסה הסינית בלבד. הוא מחולק לשלושה חלקים מוכנים מראש: קובץ האימון מכיל 7,376 שאלות, ולצדו יש קובץ ולידציה עם 651 שאלות וקובץ בדיקה שכולל גם הוא 651 שאלות. המבנה האחיד הזה מתאים במיוחד למשימות של מענה על שאלות והבנת הנקרא.
מתאים ל
- הערכת מודלים בסינית
מבחן ביצועים למודלי שפה בסינית על שאלות לוגיקה והסקה מורכבת מתוך טקסט.
- אימון הבנת הנקרא
כוונון עדין של מודלים קטנים לזיהוי קשרים לוגיים ובחירת תשובה מתוך אפשרויות.
- בדיקת חשיבה ביקורתית
מדידה של יכולת המודל לזהות הנחות סמויות וכשלים לוגיים בטיעונים כתובים.
איפה זה נופל
הטקסטים כולם בסינית בלבד, כך שמי שמחפש נתונים בעברית או באנגלית לא ימצא אותם כאן. מעבר לשפה, השאלות נכתבו במקור לסינון מועמדים לתפקידים ממשלתיים, מה שמייצר ניסוחים משפטיים ופורמליים שרחוקים משיחה יומיומית. המאגר מתמקד בלוגיקה טהורה ומבחני ברירה, ולכן אינו משקף משימות של שליפת מידע חופשית או יצירת טקסט.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
הרישיון לא מוגדר בעמוד המאגר. כשאין רישיון מפורש, ברירת המחדל המשפטית אינה מאפשרת שימוש מסחרי בטוח. לא הייתי מכניס אותו לתהליך אימון של מוצר מסחרי בלי לקבל אישור ישיר מהיוצרים המקוריים.
האם יש במאגר שאלות בעברית או באנגלית?
לא, המאגר הזה מכיל את הגרסה הסינית בלבד. כל הטקסטים, השאלות והתשובות כתובים בסינית. למי שמחפש גרסה באנגלית, קיים פיצול נפרד שפותח על ידי תורם אחר ומכיל את התרגום.
מאיפה הגיעו השאלות ומי כתב אותן?
השאלות נאספו מתוך בחינות קבלה ציבוריות לשירות המדינה בסין. הן נכתבו במקור על ידי גורמי ממשל מקצועיים כדי להעריך חשיבה ביקורתית של בני אדם. החוקרים שפרסמו את המאמר המקורי ארגנו אותן בפורמט שמתאים למודלי שפה.
איך טוענים
טוענים את המאגר ישירות דרך הספרייה עם המזהה הרשמי שלו, בלי צורך לבקש הרשאות מיוחדות או לחכות לאישור גישה. במאגר יש שלושה קבצים, כולל סקריפט הטעינה logiqa-zh.py שבונה את הדגימות. כל דגימה מחזירה את השדות context, query, options ואינדקס התשובה correct_option, שמציין איזה פריט ברשימה הוא הנכון.
from datasets import load_dataset
ds = load_dataset("jiacheng-ye/logiqa-zh")הרישיון
הרישיון של המאגר לא דווח. מבחינת צוותי פיתוח, היעדר רישיון מוגדר אומר שאין היתר ברור לשימוש מסחרי, ואי אפשר לדעת מראש אם מותר לאמן עליו מודלים שמיועדים למכירה או למוצרים מסחריים בלי להסתכן בהפרת זכויות יוצרים.