VisCoR_Contrast
קוד פתוח5551zרישיון לא דווח2026-04-29
המאגר מרכז זוגות שאלות ותמונות מנוגדים שנועדו לאלץ מודלי ראייה ושפה להבחין בפרטים חזותיים עדינים. הוא מיועד למי שמנסה למנוע ממודלים לנחש תשובות בלי להסתכל באמת על התמונה.
- 451הורדות בחודש
- 21לייקים
מה זה
כל רשומה במאגר כוללת שתי דוגמאות VQA מצומדות, דוגמת עוגן מול דוגמה נגדית. בכל צד יש תמונה, שאלה ותשובה, כאשר המטרה של הצימוד היא ליצור הבדלים קטנים וממוקדים בין המקרים כדי לעודד הסקת מסקנות מהימנה יותר. התוכן מכסה חמש קטגוריות עיקריות: ידע כללי, הסקה לוגית, מתמטיקה, גרפים ותרשימים, וקריאת טקסט מתמונה (OCR).
המאגר מייצג חלק מתוך פרויקט רחב יותר בשם VisCoR-55K שפותח במסגרת מחקר VC-STaR. למרות שהתיעוד מזכיר רציונלים שנוצרו במודל, המבנה בפועל מכיל אך ורק את צמדי התמונות, השאלות והתשובות עבור העוגן והדוגמה הנגדית. יש בו פיצול יחיד של אימון עם 85,035 דוגמאות, ללא פירוט נוסף בכרטיס לגבי מקורות האיסוף הראשוניים של התמונות או מנגנוני הסינון שבוצעו.
מתאים ל
- אימון קונטרסטיבי ל־VLM
לימוד מודלי ראייה להבדיל בין שינויים זעירים בתמונה לשאלות דומות.
- הערכת עיוורון ויזואלי
בדיקה אם המודל נשען על קיצורי דרך בטקסט במקום לנתח את התמונה.
- כוונון עדין למשימות OCR וגרפים
שיפור הדיוק בהסקה על נתונים חזותיים מורכבים כמו תרשימים ומשוואות.
איפה זה נופל
הכרטיס לא מדווח על שום שפה מלבד אנגלית, כך שאין כאן תמיכה בעברית. חסר גם פירוט על מקור התמונות, אופן סינון השגיאות או הטיה אפשרית בנתונים. בנוסף, למרות שהתיאור מציין רכיב של הסברים שנוצרו על ידי המערכת, השדות בפועל אינם כוללים עמודות רציונל. אם אתם בונים על המאגר הזה, תצטרכו לדגום ידנית את הצמדים ולוודא שהתשובות מדויקות והתמונות תקינות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא כדאי. המאגר פורסם ללא רישיון, מה שאומר שאין לכם שום היתר שימוש מוגדר בחוק. עבור שימוש מסחרי מומלץ לפנות למחברים של מאמר ה־ICLR שקישרו בדף.
האם יש במאגר דוגמאות בעברית?
לא, הנתונים הם באנגלית בלבד. אם המטרה היא לאמן או לבחון מודל בעברית, תצטרכו לתרגם את השאלות והתשובות באופן עצמאי.
מה ההבדל בין המאגר הזה לדאטהסט VQA רגיל?
בניגוד למאגר VQA רגיל שבו כל תמונה ושאלתה עומדות לבד, כאן הנתונים מגיעים בזוגות מנוגדים. המטרה היא להציג שתי תמונות דומות עם שוני דק כדי לאלץ את המודל לראות את ההבדל ולא לנחש.
איפה נמצאים הרציונלים שמוזכרים בתיאור?
בקבצים שפורסמו כאן הם פשוט לא קיימים. הסכמה כוללת שדות לתמונה, שאלה ותשובה בלבד עבור העוגן ועבור הדוגמה הנגדית, ללא שדה שמכיל הסבר.
איך טוענים
טוענים את הנתונים דרך Hugging Face מתוך 19 קבצי parquet שמתחילים בקידומת pairdata. המאגר ציבורי ופתוח להורדה ישירה בלי צורך בבקשת גישה מיוחדת. הפיצול היחיד הוא train והוא כולל 85,035 שורות. בכל שורה יש שדות מסוג תמונה עבור anchor_image ו־counterpart_image, לצד שדות טקסט לשאלות ולתשובות של שני הצדדים. קחו בחשבון שטעינת שתי תמונות במקביל לכל רשומה דורשת זיכרון עבודה משמעותי בזמן עיבוד ה־pipeline.
from datasets import load_dataset
ds = load_dataset("5551z/VisCoR_Contrast")הרישיון
ליוצרי המאגר אין רישיון מוגדר בכרטיס. מבחינה משפטית, כשאין רישיון מפורש, כל הזכויות שמורות ליוצרים ואין היתר מוגדר לשימוש מסחרי, הפצה מחדש או אימון מודלים למוצר. לחברות וארגונים מומלץ לא לגעת בזה לפני שמקבלים אישור ישיר מהחוקרים או שהם יעדכנו רישיון קוד פתוח מוכר.