MMPR

מה זה

המאגר מכיל כ־3 מיליון רשומות המיועדות לאימון העדפה רב-מודאלי, מה שמכונה MPO. כל רשומה כוללת שאלה, נתיב לתמונה, ושתי תשובות אפשריות: אחת מועדפת שנבחרה כטובה והשנייה שנדחתה עקב פגמים בהסקה או חוסר דיוק.

המבנה הזה משרת ישירות שיטות כוונון עדין של התנהגות מודלים, במיוחד סביב משימות של מענה על שאלות מבוססות תמונה, פתרון בעיות מתמטיות ויזואליות והפחתת הזיות בראייה ממוחשבת. הכרטיס לא מפרט כיצד בדיוק נאספו הדוגמאות, מאילו מקורות מקוריים נלקחו התמונות או באילו מסננים השתמשו כדי לסמן תשובה כמועדפת מול נדחית.

מתאים ל

• אימון העדפה רב-מודאלי

  כוונון מודלי שפה וראייה באמצעות דוגמאות של תשובה נכונה מול שגויה לשיפור הסקה.

• הפחתת הזיות ויזואליות

  שימוש בתשובות שנדחו כדי ללמד מודלים להימנע מתיאור פרטים שלא קיימים בתמונה.

• הסקה מתמטית ויזואלית

  שיפור ביצועים במשימות שדורשות הבנה משולבת של תרשימים, חישובים וטקסט.

איפה זה נופל

הנתונים מוגדרים באנגלית בלבד, כך שמי שבונה יכולות בעברית לא יקבל כאן מענה ישיר. מעבר לכך, הכרטיס אינו מציין מה מקור התמונות, האם יש בהן מידע רגיש, וכיצד נוצרו התשובות השגויות, האם בידי אדם או מודל אחר. לפני שמשלבים את המידע באימון מוצר, חובה לבדוק ידנית את איכות ההסקה ואת אופי התמונות בארכיון.

אותה משפחה

MMPR יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך טוענים

אין צורך באישור גישה מיוחד כדי להוריד את הקבצים. החומרים מחולקים לקובצי ארכיון כמו annotations.zip ו־images.zip לצד קובץ meta.json, מה שאומר שתצטרכו להוריד, לפתוח את הקבצים המכווצים מקומית ולוודא שהנתיב בשדה image מתאים למבנה התיקיות אצלכם. המבנה עצמו פשוט ומכיל רק ארבעה מפתחות: נתיב התמונה, השאלה, התשובה שנבחרה והתשובה שנדחתה.

from datasets import load_dataset

ds = load_dataset("OpenGVLab/MMPR")

הרישיון

המאגר מופץ תחת רישיון MIT. מדובר ברישיון מתירני שמאפשר שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אין חובה לשתף נגזרות באותו הרישיון, מה שמאפשר לאמן מודלים לצרכים פנימיים או מסחריים בלי לחשוף אותם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗