MMDU
קוד פתוחlaolao77cc-by-nc-4.02024-06-09
שיחות ארוכות מרובות תורות שמשלבות מספר תמונות במקביל. המאגר מציע הקשר ויזואלי וטקסטואלי נרחב שנועד לבחון ולאמן מודלים על מענה מפורט הדורש זיכרון ארוך.
- 288הורדות בחודש
- 43לייקים
מה זה
המאגר מחולק לשני חלקים עיקריים. החלק הראשון הוא סט מבחן הכולל 110 שיחות רב-תוריות עם יותר מ־1600 שאלות, המלוות בתשובות ארוכות ומפורטות ומבוססות על 2 עד 20 תמונות לכל שיחה. אורך ההקשר הממוצע שם עומד על 8.2k טוקנים ומגיע עד 18k טוקנים.
החלק השני מיועד לכוונון הוראות ומכיל 45,000 שיחות. כל שיחה בחלק הזה משלבת תוכן מ־2 עד 5 תמונות, עם ממוצע של 9 סבבי שאלות ותשובות ועד 27 סבבים לשיחה. אורך ההקשר הממוצע בסט האימון עומד על 5k טוקנים ומגיע עד 17k טוקנים. לפי הכרטיס, המבנה מאפשר שילובים נוספים להרחבת השיחות, אך אין פירוט על מקור התמונות המקורי או אופן סינון הטקסט.
מתאים ל
- אימון הבנת ריבוי תמונות
כוונון מודלים לטיפול בשיחות שדורשות השוואה וניתוח בין שתיים עד חמש תמונות שונות ברצף.
- הערכת שיחות מרובות תורות
בדיקת יכולת המודל לשמור על דיוק ועקביות לאורך עשרות תורות שיחה מול קלט ויזואלי.
- מבחני עומס להקשר ארוך
מדידת ביצועי זיכרון של מודלים מול קלטים משולבים של תמונה וטקסט שמגיעים עד 18k טוקנים.
איפה זה נופל
החומר כולו באנגלית בלבד ואין בו שום ייצוג לעברית. היוצרים מציינים צורך לציית למדיניות השימוש של OpenAI, רמז עבה לכך שהתשובות נוצרו או עובדו באמצעות מודלים שלהם, אם כי תהליך הסינון והבדיקה הידנית לא מפורט. בנוסף, חסר מידע על מקור התמונות, זכויות היוצרים עליהן והטיות ויזואליות אפשריות, כך שלא מומלץ להסתמך עליו בעיניים עצומות למערכות ייצור.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, הרישיון המוגדר הוא רישיון לא-מסחרי בלבד. בנוסף ישנה דרישה מפורשת לציית לתנאי השימוש של OpenAI. מודל שיאומן על הנתונים הללו מוגבל למחקר בלבד ולא יוכל לשרת פעילות עסקית.
האם יש בדאטהסט תמיכה בעברית?
אין במאגר תמיכה בעברית כלל. השפה היחידה שמופיעה בדיווח של הכרטיס היא אנגלית, הן בשאלות והן בתשובות. אם המטרה שלכם היא אימון עבור משתמשים דוברי עברית, תצטרכו לתרגם את הנתונים או לחפש מקור אחר.
במה המאגר הזה שונה ממאגרי שאלות ותשובות ויזואליים אחרים?
רוב המאגרים הוויזואליים מתמקדים בתמונה בודדת ובתשובות קצרות של תור אחד או שניים. כאן מדובר בשיחות של עד 27 סבבים המשלבות עד 20 תמונות בהקשר בודד. האורך הכולל של הטקסט והתמונות מגיע לאלפי טוקנים, מה שיוצר אתגר עיבוד חריג.
מאיפה הגיעו הנתונים והתשובות בשיחות?
הכרטיס אינו מפרט את המקור המדויק של התמונות או את אופן איסופן. עם זאת, ההפניה למדיניות השימוש של OpenAI מעידה בסבירות גבוהה שהתשובות או חלק מהשיחות נוצרו בצורה סינתטית דרך הכלים שלהם. שאר הפרטים לגבי תהליך הבנייה מפנים למאמר האקדמי.
איך טוענים
הקבצים זמינים להורדה ישירה ללא צורך באישור גישה מוקדם. המאגר מכיל שישה קבצים, וביניהם קובצי נתונים בפורמט JSON כמו benchmark.json ו־mmdu-45k.json, לצד קובצי ארכיון zip המכילים את התמונות. בגלל אורכי ההקשר שמגיעים עד 18k טוקנים וריבוי התמונות לכל שיחה, תצטרכו לוודא שצינור העיבוד שלכם תומך בחלוקת זיכרון מתאימה לקלטים ויזואליים וטקסטואליים כבדים.
from datasets import load_dataset
ds = load_dataset("laolao77/MMDU")הרישיון
הרישיון הוא CC-BY-NC 4.0, מה שאוסר במפורש כל שימוש מסחרי בנתונים. בנוסף, נדרש ייחוס ליוצרים וציות לתנאי השימוש של OpenAI. אם אתם מתכננים לאמן מודל לצורך מוצר מסחרי או לשלב אותו בשירות בתשלום, המאגר הזה פשוט לא בא בחשבון.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא