SFE

מה זה

המאגר כולל 830 צמדי שאלות ותשובות ויזואליות שעברו אימות של מומחים, ומחולקים לשלושה סוגי שאלות ושלוש רמות קוגניטיביות. הרמה הראשונה בודקת תפיסה של אותות ורכיבים מתוך ויזואליזציות של נתונים מדעיים גולמיים. הרמה השנייה בוחנת הבנה של תכונות וידע מדעי מבוסס מומחיות. הרמה השלישית מתמקדת בהסקה השוואתית, שמחייבת הפקת תובנות על ידי השוואה מובנית בין כמה מקורות ויזואליים במקביל.

התוכן נאסף מתבניות נתונים גולמיים ומכסה 66 משימות מולטימודליות שונות. המשימות האלה מתפרסות על פני חמישה תחומי ידע מרכזיים: אסטרונומיה, כימיה, מדעי כדור הארץ, מדעי החיים ומדעי החומרים, לצד 18 כיווני מחקר. כל המשימות והשאלות במאגר נבנו ישירות בשתי שפות, אנגלית וסינית.

מתאים ל

• בנצ'מרק מדעי למודלי ראייה

  מדידת יכולת הפענוח וההסקה של מודלים רב-מודליים מול נתונים ויזואליים מדעיים מורכבים.

• השוואת מודלים בשפות שונות

  בדיקת פער הביצועים של מערכות מולטימודליות באנגלית מול סינית על אותן משימות מדעיות.

• בדיקת הסקה ממקורות מקבילים

  בחינת יכולת המודל להשוות בין מספר גרפים או תמונות מדעיות בו-זמנית ולהסיק מסקנות.

איפה זה נופל

זהו מאגר הערכה בלבד ולא סט נתונים לאימון. עם 830 דוגמאות בלבד, אי אפשר לבסס עליו למידה של מודל חדש אלא רק בנצ׳מרק. המאגר מוגבל לשפות אנגלית וסינית, ואין בו שום ייצוג לעברית. בנוסף, המשימות מתבססות על ויזואליזציות מדעיות מתמחות מאוד כמו גרפים וסריקות, כך שהתוצאות בו לא מעידות על ביצועים במשימות ראייה ממוחשבת רגילות או בעבודה עם טקסט כללי.

איך טוענים

טוענים את הנתונים ישירות דרך שכפול המאגר באמצעות כלי שורת הפקודה עם git lfs install ולאחר מכן git clone מכתובת המאגר. אפשר להשתמש בדגל דילוג כדי למשוך מצביעים בלבד בלי הקבצים הכבדים. המאגר מכיל 2,099 קבצים, והנתונים עצמם מאורגנים בתיקיות לפי שפה, אנגלית וסינית, בתוך קובצי test.parquet יחד עם dataset_info.json. אין צורך לבקש אישור גישה מראש. ההערכה של המודלים על גבי המאגר מתבצעת בעזרת כלי הבדיקה של lmms-eval או דרך VLMEvalKit.

from datasets import load_dataset

ds = load_dataset("InternScience/SFE")

הרישיון

המאגר מופץ תחת רישיון MIT. הרישיון מאפשר שימוש מסחרי מלא, שינוי של הנתונים, הפצה ושילוב בפרויקטים סגורים או פתוחים, ללא דרישה לשתף את התוצרים באותו רישיון. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים ונוסח הרישיון המקורי. מודל שנבדק או נעזר בנתונים אלה אינו מוגבל בהפצה מסחרית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗