PBench
קוד פתוחtiiuaeרישיון לא דווח2026-02-16
המאגר בודק יכולות סגמנטציה מבוססת שפה לפי מדרג קושי מובנה, מחלוקה לקטגוריות פשוטות ועד קריאת טקסט בתמונה. הוא מתאים למי שרוצה לאבחן בדיוק איפה המודל שלו נכשל במקום לקבל ציון כללי עיוור.
- 2,329הורדות בחודש
- 17לייקים
מה זה
במאגר יש 6,338 דוגמאות שכוללות 83,977 מסיכות סגמנטציה ו־5,090 ביטויים ייחודיים באנגלית. כל דוגמה מורכבת מתמונת צבע, ביטוי טקסטואלי שמפנה לאובייקט, כמות המופעים ומסיכות בינאריות שמקודדות בפורמט RLE של COCO. הכרטיס לא מציין מהיכן נאספו התמונות במקור או באיזה אופן בוצע הסינון הראשוני שלהן.
המבנה מחולק לשישה חלקים נפרדים לפי מיומנות ראייה ושפה. רמה 0 בודקת זיהוי עצמים בסיסי, רמה 1 מוסיפה תכונות ותתי סוגים, רמה 2 מתמקדת בזיהוי טקסט מתוך התמונה, רמה 3 מוקדשת לקשרים מרחביים ומיקומים, ורמה 4 בוחנת אינטראקציות ופעולות בין עצמים. החלק הנוסף, dense, כולל סצנות צפופות במיוחד עם ממוצע של 181 מסיכות לדוגמה לבדיקת איתור ממצה.
מתאים ל
- הערכת מודלי סגמנטציה
מדידת הדיוק של מודלי שפה וראייה לפי רמות קושי שונות, מביטויים קצרים ועד תיאורי יחסים מורכבים.
- אבחון כשלי מודל
בדיקה מבודדת של נקודות תורפה ספציפיות, כמו הבנת יחסי מרחב או קריאת טקסטים מתוך סצנה.
- מבחן עומס בסצנות צפופות
שימוש בחלק ה־dense כדי לבדוק יכולת פילוח של עשרות עד מאות עצמים זהים בתמונה אחת.
איפה זה נופל
היוצרים מציינים שהביטויים בשפה חופשית סובלים לעיתים מחוסר בהירות, מה שמקשה לקבוע חד משמעית למה הכוונה ללא הקשר רחב. ברמה של זיהוי טקסט, איכות הגופנים, חסימות חלקיות ורעש ויזואלי עלולים להכשיל את המודל בלי קשר ליכולת הסגמנטציה שלו. בנוסף, רמת היחסים המרחביים רגישה לנקודת המבט של המצלמה ולהגדרת נקודת הייחוס. כל הטקסטים במאגר הם באנגלית בלבד, כך שלא תוכלו לבדוק בעזרתו ביצועים בעברית ישירות, ואין מידע לגבי מועד איסוף התמונות או הטיות ייצוג ויזואליות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
היוצרים לא ציינו רישיון שימוש בעמוד המאגר. ללא רישיון מוגדר אין היתר חוקי ברור לשימוש מסחרי או לאימון מודלים שיוטמעו במוצרים, ולכן מומלץ להגביל את השימוש בו להערכה ומחקר בלבד עד להבהרת הנושא.
האם המאגר כולל תמיכה או ביטויים בעברית?
המאגר כולו באנגלית בלבד. כל הביטויים שמפנים לעצמים נכתבו באנגלית, וגם חלקי ה־OCR מבוססים על שפה זו. אם אתם מפתחים מוצר שמיועד להבין הנחיות בעברית, תצטרכו לתרגם את הביטויים או לבנות מבחן ייעודי משלכם.
איך נאספו וסוננו הנתונים?
הכרטיס מפרט רק את מבנה הנתונים ואת אופן החלוקה לחמש רמות קושי ולחלק הצפוף, אך אינו חושף מאיזה מקורות נלקחו התמונות עצמן. לא מוסבר האם המסיכות והביטויים נוצרו בידי אדם, חולצו מדאטהסטים קיימים או הופקו בכלים אוטומטיים.
במה המאגר שונה מדאטהסטים סטנדרטיים של סגמנטציה?
במקום לתת ציון ביצועים בודד שמערבב סוגי קושי שונים, המאגר מבודד כל דוגמה למיומנות תפיסתית אחת מוגדרת. המבנה הזה מפריד באופן מכוון בין זיהוי עצם פשוט, הבנת תכונות, קריאת טקסט והסקה מרחבית.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות הפקודה load_dataset("tiiuae/PBench"). המאגר כולל 45 קבצים, בעיקר קובצי Parquet המחולקים לפי הרמות השונות, ואין צורך לבקש אישור גישה מיוחד כדי להוריד אותו. השדות המרכזיים בכל רשומה הם image, expression, count, ורשימת masks. כדי להשתמש במסיכות הסגמנטציה בפועל צריך לפענח את קידוד ה־RLE למערך בינארי באמצעות pycocotools.
from datasets import load_dataset
ds = load_dataset("tiiuae/PBench")הרישיון
הרישיון של המאגר לא דווח כלל בכרטיס. במצב כזה אין אישור מפורש לשימוש מסחרי, לא ברור האם מותר להפיץ נגזרות, וקיים סיכון משפטי באימון מודלים שמיועדים למוצר פעיל. כל עוד היוצרים לא הגדירו תנאי שימוש ברורים, בטוח להשתמש בו רק למחקר והערכה פנימית.