MMPR-v1.1
קוד פתוחOpenGVLabmit2024-12-20
מאגר נתוני העדפה למודלי ראייה ושפה שנועד לאימון יכולות היסק והפחתת הזיות. הוא נבנה במקור עבור סדרת InternVL ומכיל תיוגי השוואה ישירים בין תשובות טובות לפסולות.
- 211הורדות בחודש
- 46לייקים
מה זה
במאגר יש כ־3 מיליון דוגמאות שמיועדות לאופטימיזציית העדפות, כמו אלגוריתם MPO שבו השתמשו המפתחים. כל רשומה כוללת תמונה, שאלת קלט, תשובה מועדפת ותשובה שנדחתה. המטרה של המבנה הזה היא ללמד מודלי ראייה מולטימודליים לא רק לתאר מה יש בתמונה, אלא לפתור משימות הסקה מורכבות, בעיקר בתחומי מתמטיקה ותפיסה מרחבית.
הכרטיס מציג תוצאות מפורטות על מודלים שאומנו עליו, כמו InternVL2-8B שהגיע ל־67% דיוק ב־MathVista ו־25.7% ב־MathVision, לצד שיפור במדד POPE שבודק הזיות. עם זאת, היוצרים לא מפרטים בכרטיס מהיכן בדיוק נאספו תמונות המקור, באילו מקורות רשת השתמשו או כיצד נוצרו וסוננו התשובות הפסולות והמועדפות. המידע המלא על אופן הבנייה מופנה למאמר המחקרי.
מתאים ל
- אימון העדפה למודלי שפה וראייה
כוונון מודלים בעזרת DPO או MPO כדי שידעו לבחור תשובות נכונות על פני פלט שגוי.
- הפחתת הזיות בראייה ממוחשבת
שימוש ברשומות התפיסה כדי לאמן מודלים לזהות אובייקטים אמיתיים מבלי להמציא פרטים.
- שיפור פתרון בעיות מתמטיות
אימון המודל להסקת שלבים מתמטיים מתוך תרשימים ומשוואות ויזואליות.
איפה זה נופל
הנתונים מוגדרים באנגלית בלבד ואין כאן תמיכה בעברית, כך שלא תוכלו לאמן איתו ישירות ממשק מקומי. הכרטיס לא מציין מאיפה התמונות הגיעו, מה שאומר שאי אפשר לדעת מראש אילו הטיות תרבותיות או בעיות פרטיות מסתתרות בתוכן. בנוסף, מדובר בגרסה 1.1, כאשר יוצריה כבר הודיעו שיצאה גרסה 1.2 שמציגה ביצועים טובים יותר, כך שכדאי לשקול מראש אם להשתמש בגרסה זו.
אותה משפחה
MMPR יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון שמופיע במאגר הוא MIT, והוא מתיר שימוש מסחרי חופשי, כל עוד כוללים את תנאי הרישיון וקרדיט ליוצרים. המשמעות היא שניתן לאמן עליו מודלים מסחריים בלי לחשוף את הקוד שלכם.
האם המאגר כולל תוכן בעברית?
לא. המאגר מוגדר לשפה האנגלית בלבד, וכל השאלות והתשובות נכתבו באנגלית. אם אתם מכוונים למוצר שפועל בעברית, תצטרכו לתרגם את הטקסטים או לשלב נתונים ממקור אחר.
מה תהליך החילוץ של קובצי התמונות?
התמונות במאגר שמורות בשני קבצים נפרדים בגלל הנפח שלהן. לפני השימוש יש לחבר אותם לקובץ זיפ אחד באמצעות שורת הפקודה, ורק אז לבצע חילוץ לתיקיית היעד לפי ההוראות בכרטיס.
מדוע מומלץ לבדוק את גרסה 1.2 לפני שמתחילים?
המפתחים עצמם פרסמו עדכון שלפיו גרסה 1.2 משפרת באופן ניכר את הביצועים של הדור הבא של המודלים שלהם. אם אתם עומדים להשקיע משאבי מחשוב באימון מלא, עדיף לבדוק אם הגרסה החדשה מתאימה יותר לפרויקט שלכם.
איך טוענים
אין צורך בבקשת גישה מיוחדת, המאגר פתוח להורדה ישירה. הקבצים מחולקים לארכיון תיוגים, קובץ מטא-דאטה, וארכיון תמונות שפוצל לשני חלקים עקב גודלו. כדי להשתמש בתמונות, תצטרכו קודם לחבר את החלקים לפקודה אחת בעזרת cat ולאחר מכן לחלץ את הזיפ. הקוד דורש גישה לנתיב התמונה מתוך קובץ התיוג, לצד הטקסטים של השאלה, התשובה המועדפת והתשובה הדחויה.
from datasets import load_dataset
ds = load_dataset("OpenGVLab/MMPR-v1.1")הרישיון
המאגר מפורסם ברישיון MIT. זהו רישיון מתירני שמאפשר שימוש מסחרי, מחקרי, שינוי והפצה של הנתונים, בתנאי ששומרים על הודעת זכויות היוצרים המקורית. הרישיון אינו כופה שיתוף באותו רישיון, ומודל שתאמנו על הדאטהסט לא מחויב להיפתח לציבור.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש