piqa
קוד פתוחybiskunknown2022-03-02
שאלות רב ברירה שבוחנות הבנה פיזיקלית יומיומית ואינטואיטיבית של חפצים וחומרים. המאגר מיועד לבדוק אם מודלים מבינים פעולות פשוטות בעולם האמיתי מעבר לטקסט תיאורטי.
- 109,514הורדות בחודש
- 106לייקים
מה זה
כל רשומה בנויה ממטרה פיזית מוגדרת, שתי הצעות לפתרון, ותגית שמסמנת מי מהפתרונות נכון. הפתרונות מבוססים על מצבים יומיומיים, אך פונים לעיתים לשימושים פחות שגרתיים בחומרים כדי לאתגר את ההבנה המכנית של המודל.
הבסיס לחומרים נלקח מפרויקטים והוראות עבודה באתר instructables.com, שכוללים משימות יצירה, תיקונים ובישול ביתיים. מתייגים בתשלום יצרו את השאלות בהשראת אותם מדריכים, וחיברו לכל מטרה פתרון תקין לצד פתרון שגוי שכולל שינוי קטן ולא מתאים. דוגמאות שבהן המתייגים לא הגיעו להסכמה הוסרו מהמאגר, ובוצע סינון נוסף באמצעות אלגוריתם AFLite כדי להעיף רמזים סגנוניים ושאלות פשוטות מדי.
החלוקה כוללת 16,000 דוגמאות לאימון, 2,000 דוגמאות לפיתוח, ו־3,000 דוגמאות בדיקה. סט הבדיקה מגיע ללא תוויות, והתוצאות עליו נמדדות מול לוח תוצאות חיצוני.
מתאים ל
- הערכת היגיון פיזיקלי
בדיקת יכולת המודל לבחור פתרון מעשי נכון למשימות יומיומיות מתוך שתי חלופות.
- אימון מודלים להבנת הנקרא
כוונון עדין למשימות שאלות אמריקאיות הדורשות הסקת מסקנות על פעולות בעולם האמיתי.
- השוואה מול לוח תוצאות
בדיקת ביצועי מודל על 3,000 דוגמאות המבחן ללא תוויות ושליחת התוצאות להשוואה רשמית.
איפה זה נופל
כל הנתונים מנוסחים באנגלית בלבד, ואין ייצוג לעברית או לשפות אחרות. התיעוד לא מפרט אילו הטיות חברתיות קיימות בטקסטים או איזה מידע אישי ורגיש עלול היה להיכנס דרך נתוני האתר instructables.com, כך שלא מומלץ להסתמך עליו במוצרים סופיים ללא בדיקת תכנים עצמאית. בנוסף, המשימה מוגבלת לשתי אופציות בחירה בלבד ומבוססת על מקרי יצירה ועבודות יד, מה שלא בהכרח מכסה פיזיקה תעשייתית או תרחישים מורכבים.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
הרישיון בדף המאגר מוגדר כ־unknown. ללא היתר מפורש בכתב מהיוצרים, אי אפשר להניח שהשימוש המסחרי מותר. לשימושים מסחריים כדאי לפנות ישירות לחוקרים שמחזיקים בזכויות.
האם יש במאגר תמיכה בעברית?
לא. הטקסטים כולם באנגלית בלבד לפי שדה השפה en. שימוש במאגר מול קהל ישראלי ידרוש תרגום מותאם של הדוגמאות.
איך נוצרו השאלות והתשובות?
עובדים בתשלום קיבלו השראה ממדריכי עבודה באתר instructables.com וניסחו מטרות ופתרונות. הם יצרו פתרון אחד נכון ופתרון שני שגוי באופן עדין, והדוגמאות נוקו מאוחר יותר מאנומליות ורמזים סגנוניים.
למה אין תוויות בסט הבדיקה?
סט הבדיקה מכיל 3,000 דוגמאות עיוורות שנועדו למנוע התאמת יתר של מודלים. כדי לדעת את הציון בחלק זה, צריך להגיש את התחזיות של המודל ללוח התוצאות הרשמי של הפרויקט.
איך טוענים
הטעינה נעשית דרך ספריית datasets באמצעות המזהה ybisk/piqa, ללא צורך בהרשמה מוקדמת או אישור גישה. המאגר כולל שלושה קבצים, ביניהם קובץ הסקריפט piqa.py וקובץ התיעוד.
בזמן עבודה על סט האימון או הפיתוח עובדים עם השדות goal, sol1 ו־sol2 כקלט, ומשתמשים בשדה label לצורך חישוב הדיוק, כאשר 0 מצביע על הפתרון הראשון ו־1 על השני. בסט הבדיקה השדה label ריק.
from datasets import load_dataset
ds = load_dataset("ybisk/piqa")הרישיון
הרישיון מוגדר כ־unknown בדף המאגר. אין הצהרה ברורה לגבי שימוש מסחרי, ייחוס נדרש או הגבלות שיתוף. כל עוד המפרסם לא ציין רישיון פתוח מוכר, שימוש בו לצורך אימון מודל מסחרי חושף אתכם לסיכון משפטי ודורש בדיקה מול היוצרים המקוריים.