MME-CoT
קוד פתוחCaraJרישיון לא דווח2025-02-08
מאגר לבדיקת יכולות הסקת מסקנות רב מודליות בשילוב תמונות וטקסט. הוא מתאים למי שרוצה לבחון את איכות שרשרת המחשבה של מודלים מול בעיות חזותיות מורכבות.
- 540הורדות בחודש
- 23לייקים
מה זה
הנתונים כוללים בין אלף לעשרת אלפים רשומות המיועדות למשימות טקסט ותמונה מול טקסט. המאגר מתמקד בבדיקת ביצועים של מודלים רב מודליים גדולים תחת שיטת שרשרת מחשבה, ומכיל דוגמאות שנאספו כדי להעריך איכות מחשבה, עמידות ויעילות.
התוכן מחולק לשישה תחומים ברורים: מתמטיקה, מדעים, זיהוי תווים אופטי, לוגיקה, הבנת מרחב וזמן, וסצנות כלליות. כל רשומה כוללת קלט חזותי ושאלות המאלצות את המודל לפרק את תהליך החשיבה לשלבים במקום לנחש את התשובה הסופית בלבד.
דף הפרויקט לא מפרט את אופן הסינון המדויק או את מקורות התמונות המקוריים, אך החוקרים מגדירים את הנתונים כאיכותיים ומסוננים לצורך בחינת תופעות כמו חשיבת יתר במשימות תפיסה בסיסיות ובדיקת מנגנוני תיקון עצמי.
מתאים ל
- הערכת שרשרת מחשבה
בדיקה של עומק ואיכות ההסברים שמודל מייצר מול שאלות הדורשות ניתוח תמונה רב שלבי.
- מדידת יעילות חישוב
בחינת אורך התשובה וכמות הטוקנים שמתבזבזת על שלבי תיקון עצמי במהלך פתרון בעיה חזותית.
- בדיקת חוסן במדע ולוגיקה
הרצת מבחני השוואה בתחומי מתמטיקה ומדעים כדי לראות אם הנמקה מילולית משפרת את הדיוק.
איפה זה נופל
הנתונים מוגשים באנגלית בלבד ואין בהם תמיכה בעברית או בשפות נוספות. החוקרים עצמם מצאו שהפעלת שרשרת מחשבה פוגעת בביצועים במשימות שמבוססות על תפיסה חזותית פשוטה, כך שהמאגר עלול לחשוף חשיבת יתר מיותרת. מעבר לכך, הכרטיס לא מספק מידע על מקור התמונות, זכויות היוצרים עליהן או הטיות תרבותיות ודמוגרפיות, ולכן לא הייתי משלב אותו בתהליכי אימון ישירים בלי בדיקה ידנית של הדוגמאות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא כדאי להסתכן בזה. היוצרים לא ציינו שום רישיון, ומבחינה משפטית היעדר רישיון אומר שכל הזכויות שמורות להם או לבעלי התמונות המקוריים. שימוש בו לאימון מודל מסחרי חושף אתכם לתביעות על הפרת זכויות יוצרים.
האם המאגר כולל תוכן בעברית?
לא, כל הטקסטים והשאלות מוגדרים באנגלית בלבד. אם המוצר או המחקר שלכם מיועדים למשתמשים ישראלים או דורשים הבנה של טקסט מקומי בתמונות, תצטרכו לתרגם את השאלות ולייצר דוגמאות מותאמות בעצמכם.
מאיפה הגיעו התמונות והשאלות?
התיעוד בעמוד הדאטהסט לא מפרט את המקורות המדויקים שמהם נאספו התמונות והטקסטים. החוקרים מציינים רק שמדובר בנתונים שעברו אוצרות ובחירה ידנית מתוך שישה תחומים שונים, אך המקור הגולמי נשאר לא ידוע.
במה הוא שונה ממאגרי הערכה רגילים של מודלים חזותיים?
בניגוד למאגרים שבודקים רק את נכונות התשובה הסופית, המאגר הזה בוחן את תהליך ההסקה המדורג. הוא מודד במיוחד את איכות ההסבר, עמידות המודל בפני טעויות, והאם הנטייה לחשוב בקול משפרת את התוצאה או סתם מוסיפה מלל מיותר.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות הנתיב CaraJ/MME-CoT. הקבצים נשמרים בפורמט parquet, כך שאין צורך בהגדרות מיוחדות או בהרשאות גישה מוקדמות. המאגר כולל שלושה קבצים בלבד וזמין להורדה ישירה, כאשר הנתונים משמשים בעיקר כקלט להרצת שאילתות בדיקה מול מודלים והשוואת התוצאות ללוח המובילים של הפרויקט.
from datasets import load_dataset
ds = load_dataset("CaraJ/MME-CoT")הרישיון
היוצרים לא דיווחו על רישיון שימוש במאגר. מבחינה מעשית זה אומר שאין לכם שום אישור משפטי להשתמש בנתונים האלה, בטח שלא לאימון מודלים מסחריים או להפצה בתוך מוצר פעיל. כל שימוש מעבר למחקר פנימי או הערכת ביצועים בסיסית עלול לחשוף אתכם לבעיות זכויות יוצרים, במיוחד כשלא ידוע מאיפה נלקחו התמונות.