HR-Bench
קוד פתוחDreamMrother2024-08-20
מאגר לבדיקת מודלים רב-מודליים על תמונות ברזולוציה גבוהה מאוד, עד רמת שמונה קיי. הוא נועד למי שרוצה לבחון ראייה ממוחשבת בפרטים זעירים בלי להסתפק בתמונות מוקטנות.
- 7,984הורדות בחודש
- 17לייקים
מה זה
המאגר מציע מבחן ביצועים למשימות מענה על שאלות חזותיות, ומחולק לשתי משימות משנה. החלק הראשון מתמקד בתפיסה של עצם בודד ברזולוציה עדינה, וכולל זיהוי תכונות, קריאת טקסט בתמונה והנחיה חזותית. החלק השני בודק תפיסה בין כמה עצמים, ומכסה ניתוח מפות, גרפים והבנת יחסים במרחב.
הנתונים מגיעים בשתי גרסאות רזולוציה, ארבע קיי ושמונה קיי. גרסת השמונה קיי מבוססת על תמונות ברזולוציה ממוצעת כזו, וממנה גזרו את גרסת הארבע קיי לאחר סימון ידני של קואורדינטות העצמים שרלוונטיים לשאלות. המפתח לא פירט מה מקור התמונות המקורי או איך סיננו אותן מעבר לתיוג הידני.
מתאים ל
- מבחן ביצועים למודלי ראייה
הערכת היכולת של מודלים להתמודד עם תמונות גדולות במיוחד.
- בדיקת זיהוי טקסט בפרטים
בחינת יכולות קריאת שלטים ומסמכים קטנים בתוך תצלום רחב.
- הבנת תרשימים ומפות
מדידת דיוק המודל בניתוח יחסים מרחביים וקריאת גרפים מורכבים.
איפה זה נופל
המאגר קטן מאוד בהיקפו ולא מתאים לאימון מודלים, אלא רק להערכה נקודתית. כל השאלות וההנחיות כתובות באנגלית בלבד, ואין כאן שום מידע או תמיכה בעברית. בנוסף, חסר פירוט על זכויות היוצרים של התמונות המקוריות, כך שלא ברור אם יש בהן הטיות תוכן או חשיפה למידע פרטי.
שאלות
נפוצות
האם מותר להשתמש במאגר למטרות מסחריות?
סוג הרישיון המדווח הוא רישיון מותאם אישית ולא רישיון פתוח מוכר. צריך לקרוא את קובץ הרישיון שנמצא במאגר כדי לדעת אם קיימת הגבלה על שימוש מסחרי.
האם יש במאגר תמיכה בעברית?
לא. המאגר מוגדר לשפה האנגלית בלבד, וכל המשימות והשאלות בו מנוסחות באנגלית.
מאיפה הגיעו התמונות ואיך בנו אותו?
החוקרים לקחו תמונות ברזולוציה ממוצעת של שמונה קיי ותייגו ידנית קואורדינטות של עצמים הרלוונטיים לשאלות. משם הם גזרו גרסה נוספת ברזולוציית ארבע קיי, אך המקור שממנו נאספו התמונות אינו מפורט בכרטיס.
במה הוא שונה ממאגרי שאלות ותשובות אחרים?
רוב המאגרים בתחום מציעים תמונות ברזולוציה של עד שני קיי, בעוד שכאן הרזולוציה מגיעה לארבע קיי ושמונה קיי. המטרה היא לבדוק תפיסת פרטים מדויקת שאינה מתאפשרת בתמונות מוקטנות.
איך טוענים
הקבצים זמינים ישירות במאגר בפורמטים של פארקט וקובצי טקסט מופרדים בטאבים, ללא דרישה לאישור גישה מקדים. יש שתי חלוקות עיקריות לפי רמת הרזולוציה, ארבע קיי או שמונה קיי. העבודה מולו פשוטה ברמת הקוד, אך דורשת תשתית שיודעת להתמודד עם תמונות כבדות מאוד בזמן ריצה.
from datasets import load_dataset
ds = load_dataset("DreamMr/HR-Bench")הרישיון
הרישיון מוגדר כמותאם אישית ולא כרישיון קוד פתוח סטנדרטי. המאגר כולל קובץ רישיון נפרד, אך הפרטים שלו אינם מתוארים בתיעוד. לפני שמשלבים אותו במערכת מסחרית או מפרסמים מודל שנבדק עליו, חובה לפתוח את הקובץ ולוודא מה בדיוק מותר לעשות עם התמונות.