ComicsPAP
קוד פתוחVLR-CVCcc-by-sa-4.02025-02-18
מאגר לאימון והערכה של הבנת קומיקס דרך בחירת הפאנל המתאים מתוך אפשרויות. הוא מיועד למודלים רב מודליים שצריכים להבין הקשר נרטיבי, ויזואלי וטקסטואלי משולב ברצף תמונות.
- 2,731הורדות בחודש
- 15לייקים
מה זה
המאגר נבנה עבור תחרות הבנת קומיקס בכנס ICDAR 2025 ומכיל חמש משימות שונות. הרשומות מבוססות על רצפים של פאנלים מקומיקס לצד פאנלים מרובי בחירה, שמהם המודל צריך לבחור את ההמשך או ההשלמה הנכונים לרצף. בכרטיס לא מצוין המקור שממנו נסרקו או נאספו חוברות הקומיקס המקוריות, ואין פירוט על תהליך הסינון של התמונות.
חמש המשימות מתחלקות להשלמת פאנל חסר בתוך רצף, זיהוי עקביות של דמויות כאשר בועות הדיבור מוחלפות, סגירה ויזואלית של הסיפור, סגירה טקסטואלית שבה הטקסטים נלקחו מפאנלים אחרים, והתאמת פאנל לכיתוב מלווה. המבנה מאפשר להעריך בנפרד יכולות פענוח של תמונה מול יכולות קריאת עלילה.
מתאים ל
- בנצ'מרק למודלי ראייה ושפה
בדיקת יכולת ההסקה העלילתית והוויזואלית של מודלים מול חמש משימות הבנה שונות.
- אימון כוונון עדין לקומיקס
התאמת משקולות במודלי קלט תמונה לקריאת רצפי עלילה והבנת בועות דיבור.
- השתתפות בתחרות ICDAR
אימון מודל והגשת תחזיות בקובץ JSON לאתר התחרות הרשמי לפי המזהים.
איפה זה נופל
הנתונים כולם באנגלית בלבד, ואין כאן שום ייצוג לעברית או לקריאה מימין לשמאל שמאפיינת שפות שמיות. הכרטיס לא מציין אילו ז'אנרים של קומיקס נכללים, מאיזה עשורים הם, או אם יש הטיות בתוכן. בנוסף, חסר מידע בסיסי על תהליך ניקוי הנתונים. מודלים גדולים כמו Qwen2.5-VL-72B מגיעים כאן לדיוק של 41.27 אחוז בלבד ללא כוונון, מה שמראה שהמשימה קשה מאוד להסקה ישירה.
שאלות
נפוצות
האם מותר להשתמש במאגר למטרות מסחריות?
רישיון cc-by-sa-4.0 מתיר שימוש מסחרי, אך כולל דרישת שיתוף זהה שמחייבת הפצה של יצירות נגזרות תחת אותו רישיון בדיוק. בנוסף יש לתת קרדיט מלא ליוצרים. כדאי להתייעץ עם גורם משפטי אם אתם משלבים את הנתונים במוצר קנייני סגור.
האם המאגר כולל תוכן בעברית?
לא. המאגר מוגדר לשפה האנגלית בלבד, וכל הטקסטים בבועות הדיבור מופיעים באנגלית. הוא לא נבדק על כיווניות קריאה מימין לשמאל.
מאיפה הגיעו התמונות והטקסטים?
כרטיס המאגר לא מפרט מה מקור חוברות הקומיקס, מי מחזיק בזכויות היוצרים על האיורים, או כיצד נאספו וסוננו הפאנלים. המידע עשוי להופיע במאמר המלא שפורסם ב־arXiv.
איך מעריכים את ביצועי המודל על סט המבחן?
מפיקים קובץ JSON שכולל את מזהה הדוגמה ואת האינדקס של הפאנל הנבחר. את הקובץ מעלים ישירות לאתר ה־Robust Reading Competition לקבלת ציון בלוח התוצאות הרשמי.
איך טוענים
הטעינה נעשית ישירות דרך ספריית datasets על ידי ציון שם המשימה, כמו sequence_filling או caption_relevance, ובחירת החלוקה הרצויה. אין צורך באישור גישה מראש כדי להוריד את הקבצים. הנתונים מאוחסנים בפורמט Parquet ומחולקים למאות קבצים במאגר. אם המודל שלכם לא יודע לעבוד עם כמה תמונות קלט במקביל, צריך לרנדר את רצף הפאנלים לתמונה אחת רציפה לפני ההזנה, כפי שמדגימים החוקרים.
from datasets import load_dataset
ds = load_dataset("VLR-CVC/ComicsPAP")הרישיון
הרישיון הוא cc-by-sa-4.0. מותר להשתמש בנתונים לצרכים מסחריים ומחקריים, אך חובה לתת ייחוס מתאים ליוצרים. תנאי השיתוף הזהה מחייב להפיץ כל שינוי, עיבוד או מאגר נגזר תחת אותו רישיון בדיוק. אם אתם מתכננים לאמן מודל פנימי לחברה, קחו בחשבון את ההשלכות המשפטיות של דרישת השיתוף הזהה על התוצרים שלכם.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון