MathV360K
קוד פתוחZhiqiang007רישיון לא דווח2024-06-26
המאגר מרכז 360 אלף זוגות של שאלות ותשובות מתמטיות סביב 40 אלף תמונות. מי שמאמן מודלים מולטימודליים על חשיבה כמותית מקבל פה היקף רחב שנאסף מעשרות מקורות קיימים.
- 839הורדות בחודש
- 35לייקים
מה זה
הנתונים נבנו עבור אימון המודל Math-LLaVA, כשהרעיון הוא לחזק יכולות הסקה מתמטית וחזותית יחד. המאגר מכיל 360,000 צמדים של שאלות ותשובות שמתייחסות ל־40,000 תמונות, כך שסביב כל תמונה יש בממוצע תשע שאלות שונות. לפי יוצרי המאגר, המקורות לא נאספו מאפס אלא נלקחו מ־24 דאטהסטים שונים שקיימים בתחום, ורוכזו לכדי קובץ אימון יחיד.
בכרטיס עצמו לא פירטו בטקסט אילו 24 מאגרים נכללו בפנים, איך התבצע הסינון או מה היחס בין שאלות גיאומטריות לתרשימים ומשוואות. הם רק צירפו תמונה שמציגה את נתוני המקור. מבחינת ביצועים, מי שפרסם את הדאטהסט מדווח שהאימון עליו הביא את המודל שלהם לתוצאה של 46.6% בדיוק במבחן MathVista ו־15.69% במאגר MathVision.
מתאים ל
- אימון מודל מולטימודלי
כוונון מודלי ראייה ושפה על פתרון בעיות גיאומטריה ותרשימים באנגלית.
- בדיקת הסקה ויזואלית
בחינת היכולת של מודלים לחלץ נתונים מתמונות מתמטיות ולענות על שאלות.
- שחזור תוצאות מחקר
אימות התוצאות שפורסמו עבור Math-LLaVA על בנצ'מרקים קיימים.
איפה זה נופל
הנתונים כולם באנגלית בלבד. אם אתם צריכים תמיכה בעברית, בשאלות מילוליות מקומיות או במינוחים של תוכנית הלימודים בארץ, אין לזה מענה כאן. בנוסף, הכרטיס לא מפרט כיצד סוננו שגיאות מתוך 24 המאגרים השונים ואיך נמנעו מדליפת נתונים למבחני הערכה. תצטרכו לבדוק בעצמכם האם התשובות מדויקות והאם יש שאלות שנלקחו ישירות מסט הבדיקה שלכם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא כדאי להסתכן בזה כרגע. בעמוד המאגר לא דווח שום רישיון, מה שאומר שאין הרשאה ברורה לשימוש מסחרי. בנוסף, המידע מגיע מ־24 מאגרים נפרדים שצריך לבדוק את תנאי השימוש של כל אחד מהם.
האם הדאטהסט כולל תמיכה בשפה העברית?
לא. הנתונים מוגדרים באנגלית בלבד. כל זוגות השאלות והתשובות מנוסחים באנגלית ולא תמצאו כאן שאלות מילוליות או ניסוחים בעברית.
איך נאספו התמונות והשאלות במאגר?
החוקרים שילבו נתונים מ־24 מאגרי מידע קיימים כדי להגיע ל־40 אלף תמונות ול־360 אלף שאלות. מעבר לתמונה של מקורות הנתונים שהועלתה לעמוד, הכרטיס אינו מפרט טקסטואלית את תהליך הסינון שנעשה.
איך מקבלים גישה לקבצים בפועל?
המאגר פתוח להורדה ישירה ללא צורך באישור מיוחד. בפנים מחכים לכם קובץ טקסט בפורמט JSON בשם train_samples_all_tuning.json וקובץ תמונות מכווץ בשם data_images.zip.
איך טוענים
אתם לא צריכים אישור גישה כדי להוריד את הקבצים. המאגר כולל ארבעה קבצים, כשהמידע המרכזי יושב בתוך קובץ JSON שנקרא train_samples_all_tuning.json לצד ארכיון מכווץ בשם data_images.zip שמכיל את התמונות. לפני שמתחילים להריץ, צריך לחלץ את הארכיון למקומו ולחבר בין מזהי התמונות לטקסט השאלות שבקובץ הנתונים.
from datasets import load_dataset
ds = load_dataset("Zhiqiang007/MathV360K")הרישיון
היוצרים לא דיווחו על רישיון שימוש במאגר. במצב כזה ברירת המחדל המשפטית היא שאין לכם הרשאה מפורשת להשתמש בחומרים, ובטח שלא במוצר מסחרי. מעבר לזה, המאגר מורכב מ־24 מקורות שונים שלכל אחד מהם עשוי להיות רישיון מגביל משלו.