ArxivQA
קוד פתוחMMInstructioncc-by-sa-4.02024-02-28
שאלות ותשובות מבוססות תמונות מתוך מאמרים אקדמיים, שנוצרו בעזרת מודל סגור. מתאים למי שבונה מודלים רב-מודאליים ומחפש חומר טכני מורכב שמערב דיאגרמות, גרפים וטקסט מדעי.
- 477הורדות בחודש
- 38לייקים
מה זה
המאגר מכיל דוגמאות של שאלות ותשובות ויזואליות שנבנו סביב תרשימים ואיורים מתוך מאמרים ב־Arxiv. כל רשומה מייצגת פריט שמחבר בין תמונה מדעית ספציפית לבין שאלות ותשובות שנוצרו לגביה. התוכן כולו נשען על נתונים אקדמיים שנאספו ישירות מפרסומים מחקריים, במטרה לאמן ולבחון מודלים על הבנה של ויזואליזציות מורכבות.
מי שייצר את השאלות והתשובות הוא המודל GPT4V של OpenAI, ולא כותבים אנושיים שעברו על התמונות ידנית. הכרטיס לא מפרט תהליכי סינון, בקרת איכות או חלוקה מוגדרת לסט אימון ומבחן. המידע מחולק בפועל לשני מרכיבים טכניים, קובץ טקסט שמרכז את כל הדוגמאות וארכיון דחוס שמכיל את התמונות המקוריות שמקושרות לכל שאלה.
מתאים ל
- אימון מודל רב מודאלי
לימוד הבנה של גרפים מדעיים ותרשימים טכניים מתוך מאמרים באנגלית.
- בדיקת יכולות ראייה
הערכת ביצועים של מודלי ראייה ומלל על פענוח איורים אקדמיים.
- מחקר על שאלות ותשובות
ניתוח היכולת לענות על שאלות מורכבות סביב תמונות מדעיות.
איפה זה נופל
החולשה העיקרית כאן היא ההסתמכות המלאה על סינתזה של מודל חיצוני. הנתונים נוצרו ב־GPT4V, כך שכל הזיה או טעות בהבנת התרשים המדעי עלולה להיכנס ישר לסט. בנוסף, כל החומר מבוסס על אנגלית בלבד ומגיע ממאמרים אקדמיים, לכן אין כאן שום ייצוג לעברית או לתוכן מחוץ לעולם המחקר. הכרטיס לא מציין סינון ידני של התוצאות, ולפני שמכניסים את זה למוצר חייבים לבדוק מדגמית אם התשובות בכלל מדויקות ביחס לגרפים.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מסחרי?
זה בעייתי מאוד. הרישיון הוא cc-by-sa-4.0 שדורש שיתוף תחת אותו רישיון, ובנוסף הכרטיס מחייב ציות לתנאי השימוש של OpenAI, שאוסרים על שימוש בפלט שלהם לאימון מודלים מתחרים. בפועל זה מגביל את העבודה למחקר בלבד.
האם יש כאן תמיכה בעברית?
לא. הדאטהסט מוגדר באנגלית בלבד. כל הטקסטים והאיורים מגיעים ממאמרי Arxiv שפורסמו בשפה האנגלית, ואין פה נתונים מקומיים.
איך אספו ויצרו את הנתונים?
היוצרים אספו איורים ותרשימים מתוך מאמרים מדעיים שפורסמו ב־Arxiv, והזינו אותם למודל GPT4V. המודל ייצר את זוגות השאלות והתשובות עבור כל תמונה.
איך טוענים
אין צורך באישור גישה מיוחד כדי להוריד את הקבצים. העבודה מתבצעת ישירות מול שני קבצים עיקריים, arxivqa.jsonl וארכיון התמונות images.tgz. מורידים את שניהם, מחלצים את התמונות באמצעות פקודת tar רגילה, וקוראים את קובץ ה־jsonl שורה אחר שורה בפייתון. כל שורה מייצגת דוגמה שמכילה את המפתח image, שמפנה לקובץ התמונה המתאים שחולץ מהארכיון, לצד השאלות והתשובות ששייכות אליו.
from datasets import load_dataset
ds = load_dataset("MMInstruction/ArxivQA")הרישיון
הרישיון המדווח הוא cc-by-sa-4.0, שדורש ייחוס ומחייב להפיץ כל יצירה נגזרת תחת אותו רישיון בדיוק. מעבר לזה, הכרטיס מדגיש חובת ציות לתנאי השימוש של OpenAI בגלל השימוש במודל שלהם. זה יוצר סיבוך משפטי אמיתי, במיוחד באימון מודלים מסחריים מתחרים, ולכן השימוש מיועד בעיקר למחקר.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון