M3CoT

מה זה

המאגר מכיל בין עשרת אלפים למאה אלף רשומות המיועדות למשימות מענה על שאלות חזותיות, יצירת טקסט על בסיס תמונה ולמידת חיזוק. הנתונים מחולקים לקובצי אימון ומבחן בפורמט Parquet, כאשר שבעה קבצים מרכיבים את סט האימון ושניים את סט המבחן. לפי כרטיס הדגם, הרשומות מובנות בפורמט שכולל מזהה, אפשרויות בחירה אמריקאיות, תשובה נכונה, תחום, נושא ומערך הודעות שמכיל את השאלה והתשובה המנומקת.

מטרת הפרויקט היא לפתור בעיה מוגדרת במבחני ביצוע קיימים של שרשראות חשיבה, שסובלים מהיעדר חשיבה ויזואלית אמיתית, מהסתמכות על שלב חזותי בודד או מכיסוי דל של נושאים. החוקרים יצרו את המאגר כדי לאלץ מודלים לבצע הסקת מסקנות רב שלבית שמשלבת מידע מתמונות ומטקסט לאורך כל התהליך. הכרטיס עצמו אינו מפרט מאיזה מקורות ספציפיים ברשת נאספו התמונות והשאלות או כיצד התבצע הסינון הידני.

מתאים ל

• הערכת מודלי ראייה ושפה

  בדיקת יכולת המודל לפתור שאלות רב שלביות המשלבות תמונה וטקסט.

• אימון שרשראות חשיבה

  כוונון עדין של מודלים פתוחים ליצירת הסברים מנומקים בתמונות.

• למידת חיזוק מולטימודלית

  שימוש בתשובות ובשלבי ההסקה כמשוב לאימון מודלים בתהליכי חיזוק.

איפה זה נופל

הנתונים קיימים באנגלית בלבד. אם המוצר שלכם פונה לשוק המקומי בישראל ודורש עיבוד עברית, המאגר לא יעזור בלי תרגום והתאמה כבדה. בנוסף, כרטיס התיעוד לא מפרט מה מקור התמונות, האם יש בהן זכויות יוצרים של צד שלישי, או איך סוננו הטיות תרבותיות וגזעיות. היוצרים עצמם מודים שקיים פער גדול בין ביצועי המודלים המובילים לבין ביצועי בני אדם על המאגר הזה, כך שאימון עליו עלול לחשוף כשלים קשים ביכולת הפירוק של בעיות מורכבות.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets באמצעות הנתיב LightChen2333/M3CoT, ללא צורך באישור גישה או במפתח מיוחד. הקבצים שמורים בפורמט Parquet, וקיימת גם אפשרות להוריד קובץ מכווץ מקישור גוגל דרייב ולהשתמש בסקריפט הפנימי שמספקים היוצרים. לצורך הרצת קוד ההערכה והמודלים הרשמיים נדרשת סביבת פייתון מגרסה 3.10 ומעלה וספריית PyTorch מגרסה 2.0 לפחות. השדות המרכזיים שצריך לנתח בריצה הם השאלה, התמונה המצורפת, שלבי ההסקה, התחום והתשובה הנכונה.

from datasets import load_dataset

ds = load_dataset("LightChen2333/M3CoT")

הרישיון

המאגר מפורסם תחת רישיון MIT. מדובר ברישיון מתירני שמאפשר שימוש מסחרי, שינוי של המידע, הפצה מחדש ושילוב בפיתוח פנימי ללא צורך לשחרר את הקוד שלכם באותו רישיון. החובה היחידה היא שמירה על הודעת זכויות היוצרים המקורית של היוצרים. מודל שתאמנו על הדאטהסט הזה יכול לשמש במוצר מסחרי, אך כדאי לבדוק בנפרד את מקורות התמונות שנאספו לפני הפצה רחבה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗