POPE
קוד פתוחlmms-lab-encoderרישיון לא דווח2024-01-18
המאגר כולל המרה של מבחן POPE להערכת הזיות אובייקטים במודלי ראייה-שפה גדולים. הוא מיועד למי שמחפש בדיקה ישירה ופשוטה של אמינות זיהוי עצמים בתמונות דרך כלי הערכה קיימים.
- 38,822הורדות בחודש
- 22לייקים
מה זה
המאגר מציג גרסה מובנית של מבחן POPE המקורי, שפותחה כדי להשתלב ישירות בתוך מסגרת הבדיקות lmms-eval של הצוות. המטרה של המבחן היא לבדוק הזיות אובייקטים במודלי ראייה ושפה רב-מודאליים, כלומר מקרים שבהם מודל טוען שיש עצם מסוים בתמונה למרות שהוא נעדר לחלוטין.
מבנה הקבצים מראה חלוקה ממוקדת של המבחן. אפשר למצוא שם קובצי Parquet שונים לפי סוגי הדגימה של הבדיקה המקורית, בהם בדיקות אדברסריאליות, בדיקות המבוססות על עצמים נפוצים ובדיקות אקראיות, לצד קובצי פיצול בדיקה סטנדרטיים. התיעוד בכרטיס לא מפרט כיצד נדגמו או סוננו התמונות ברמה הטכנית ומפנה למאמר המקורי.
מתאים ל
- מדידת הזיות במודלי תמונה
הרצת בדיקות אחידות כדי לראות אם המודל מזהה עצמים שלא קיימים בתמונה.
- בדיקת עמידות אדברסריאלית
שימוש בקובץ הנתונים האדברסריאלי כדי לאתגר מודלי ראייה-שפה במקרים קשים.
- הערכה דרך lmms-eval
שילוב המאגר כחלק מתהליך בדיקה אוטומטי של מודלי ראייה לפני הטמעה.
איפה זה נופל
הכרטיס הנוכחי הוא מעטפת טכנית בלבד שנועדה לכלי הערכה מסוים, ולכן חסר בו כל מידע מעמיק על הנתונים עצמם. אין פירוט של שפות, אם כי המאמר המקורי של POPE והמחקרים בתחום ממוקדים באנגלית, כך שאין כאן התאמה לשפה העברית. הנתונים מתבססים על פרסום ממאי 2023 ומאגר שהועלה בינואר 2024. חסר מידע על גודל התמונות, המקור המדויק שלהן בתוך הכרטיס, והטיות אפשריות בזיהוי אובייקטים שלא תועדו בדף המאגר.
שאלות
נפוצות
האם מותר להשתמש במאגר הזה לפרויקט מסחרי?
לא מומלץ להסתמך עליו לשימוש מסחרי כרגע. היוצרים לא ציינו שום רישיון בכרטיס המאגר, מה שמותיר את הזכויות לא מוגדרות. מומלץ לבדוק את הרישיון במאגר המקורי של פרויקט POPE לפני שמשלבים אותו בצורה כלשהי.
האם המאגר תומך בבדיקות בעברית?
הכרטיס לא מדווח על תמיכה בעברית, והמחקר שעליו הוא מתבסס ממוקד כולו באנגלית. לא הייתי בונה עליו להערכת יכולות שפתיות מקומיות בלי תרגום והתאמה עצמאית של הטקסטים.
איך הנתונים במאגר נאספו ונבנו?
המאגר מבוסס על מבחן POPE שפותח להערכת הזיות במודלי ראייה ושפה לפי מאמר מ־2023. היוצרים של המאגר הזה המירו את הנתונים לפורמט Parquet כדי להזין אותם ישירות לכלי ההערכה שלהם, lmms-eval.
איך טוענים
אתם מושכים את הנתונים ישירות דרך ספריית datasets של Hugging Face בעזרת המזהה lmms-lab-encoder/POPE, או מריצים אותם כחלק מתשתית הבדיקות של lmms-eval. המאגר מורכב משמונה קבצים, בעיקר קובצי Parquet, כך שאין צורך בפריקה מסובכת או בניהול קבצי טקסט נפרדים. הגישה למאגר פתוחה לחלוטין ולא דורשת אישור מוקדם או מפתחות גישה מיוחדים. החלוקה הפנימית מפרידה בין מצבי הבדיקה של המבחן, כך שאפשר לטעון ישירות את קובצי הבדיקה האדברסריאליים, האקראיים או אלה המבוססים על עצמים נפוצים לפי פרוטוקול ההערכה הרצוי.
from datasets import load_dataset
ds = load_dataset("lmms-lab-encoder/POPE")הרישיון
היוצרים לא דיווחו על רישיון שימוש במאגר הזה. המשמעות היא שאין הרשאה מפורשת לשימוש מסחרי, ואי אפשר לדעת אילו תנאי ייחוס או הפצה חלים עליו. אם אתם מתכננים להשתמש בנתונים במוצר מסחרי או לאמן עליהם מודל, קחו בחשבון שיש פה סיכון משפטי, ועדיף לבדוק את הרישיונות במאגר המקורי של POPE ובמאמר שעליו הוא מתבסס.