clevr-math

מה זה

הנתונים מיועדים למשימת visual-question-answering ומבוססים על הדמיות תלת ממד שנוצרו במנוע blender לצד שאלות טקסטואליות שנבנו מתבניות ייעודיות. כל דוגמה כוללת תמונה, מזהה ייחודי, תבנית מקור, שאלה באנגלית ותווית מספרית שלמה שמהווה את התשובה לחישוב. המטרה היא לבדוק פתרון בעיות חשבוניות מורכבות שמסתמכות ישירות על הסצנה הוויזואלית, בשונה מספירה בסיסית שקיימת במאגר המקורי.

המאגר מציע שתי תצורות שונות עבור החלוקה לאימון, ולידציה ובדיקה. התצורה הראשונה היא general, ובה שאלות שמערבות מספר שלבי הסקה מופיעות גם בסט האימון וגם בסט המבחן. התצורה השנייה היא multihop, ושם שאלות ההסקה הרב שלביות מופיעות בסט המבחן בלבד. החלוקה הזו מיועדת לבחון עד כמה המודל מסוגל להכליל חשיבה מתמטית למבנים שלא ראה ישירות בזמן האימון על הנתונים.

מתאים ל

• הערכת הסקה רב שלבית

  בדיקת יכולת המודל להסיק מסקנות מתמטיות מורכבות על בסיס תמונה בתצורת המבחן של multihop.

• אימון VQA סינתטי

  אימון ארכיטקטורות ראייה ושפה על שאלות כמותיות מובנות עם תוויות מספריות מדויקות.

• מבחן הכללה חשבונית

  השוואת ביצועים בין תצורת general לבין תצורת multihop כדי למדוד פער למידה אמיתי.

איפה זה נופל

הכרטיס מודה בפירוש שהנתונים קיימים באנגלית בלבד, ואי אפשר להריץ עליהם בדיקות בעברית בלי לתרגם מחדש את כל תבניות הטקסט ששימשו להפקה. בנוסף, מדובר בסצנות סינתטיות של צורות גאומטריות שיוצרו במחשב, ולא בתמונות מורכבות מהעולם האמיתי. מעבר לזה, הכרטיס אינו מפרט הטיות ספציפיות בתוויות או פערים מתמטיים נוספים, ומשאיר את סעיף המגבלות פתוח עם הפניה לדרישת מידע נוסף, כך שחובה לדגום את השאלות והתשובות ידנית לפני שמבססים עליהן הערכה רחבה.

איך טוענים

טעינת הנתונים מתבצעת דרך סקריפט הטעינה clevr-math.py ישירות מהמאגר, ללא צורך בהרשאות גישה מיוחדות או אישור ידני. המאגר כולל קובצי ארכיון גדולים מסוג zip שמכילים את התמונות המקוריות, תמונות המבחן וגרסאות השאלות השונות, לצד מטא-דאטה מובנה בקובץ json. בזמן הטעינה תקבלו ישירות מבנה נתונים שמחזיר אובייקט תמונה, מחרוזות עבור השאלה, התבנית והמזהה, ומספר שלם עבור התשובה. יש לקחת בחשבון שמדובר בהורדה ופריסה של קבצים דחוסים מרובים, כך שמומלץ לוודא שיש מספיק נפח אחסון מקומי וזיכרון עבודה לעיבוד התמונות.

from datasets import load_dataset

ds = load_dataset("dali-does/clevr-math")

הרישיון

הרישיון המדווח הוא cc-by-4.0, אם כי בכרטיס הוזכר גם המונח ShareAlike בטקסט החופשי של הציטוט. תחת רישיון ייחוס רגיל מותר להשתמש בנתונים למטרות מסחריות ומחקריות, להתאים אותם ולאמן עליהם מודלים, בתנאי שניתן קרדיט מלא למחברים. כדאי לבדוק את הרישיון המדויק מול המאגר לפני שילוב במוצר מסחרי סגור כדי לוודא שאין דרישה לשיתוף זהה של הנגזרות.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗