RefSpatial-Bench
קוד פתוחBAAIapache-2.02025-05-27
מבחן ביצועים להבנה מרחבית רב שלבית בסצנות עמוסות עבור רובוטיקה. מתאים למי שרוצה לבדוק יכולת הצבעה מדויקת על אובייקטים או שטחים פנויים לפי הוראות מורכבות.
- 3,972הורדות בחודש
- 20לייקים
מה זה
המאגר מכיל דוגמאות להערכת מודלי שפה ותמונה במשימות מרחביות מורכבות בסביבות עמוסות. כל רשומה מורכבת מתמונת צבע, מסיכה בינארית של היעד, תיאור טקסטואלי של המטרה, פרומפט מלא להפניה, הנחיות לעיצוב התשובה ומדד מורכבות המייצג את מספר שלבי ההסקה הנדרשים.
הנתונים מחולקים לשלושה חלקים עיקריים לפי סוג המשימה. חלק המיקום מכיל 100 דוגמאות שמחייבות חיזוי נקודה דו ממדית על גבי עצם מטרה ספציפי, וחלק ההנחה כולל 100 דוגמאות לחיזוי נקודה בתוך שטח פנוי מבוקש. החלק הנוסף כולל 77 דוגמאות עם שילובי יחסים מרחביים חדשים שלא נכללו במאגר האימון של החוקרים, והוא נועד לבחון הכללה רק אם המודל אומן על נתוני הבסיס הללו.
מתאים ל
- הערכת מודלי ראייה רובוטיים
מדידת יכולת המודל להצביע על נקודות ציון בסצנות מורכבות לפי תיאור מילולי.
- בדיקת מיקום שטחים פנויים
בחינת חיזוי נקודות מתאימות להנחת חפצים בתוך אזור פנוי מוגדר.
- מבחן הכללה ליחסים מרחביים
בדיקת ביצועים של מודלים שאומנו על RefSpatial מול שילובי יחסים חדשים.
איפה זה נופל
ההוראות והתיאורים מופיעים באנגלית בלבד, ואין נתונים בשפות אחרות כמו עברית. השימוש בערכת הבדיקה המיוחדת של 77 הדוגמאות מוגבל באופן מפורש רק למודלים שאומנו על בסיס הנתונים של RefSpatial, ואסור להשתמש בה למודלים כלליים אחרים. בנוסף, מודלים שונים דורשים מבני פלט והנחיות עיצוב שונות, כך שיש להתאים את הפרומפטים באופן ידני לפני הרצת השוואה.
שאלות
נפוצות
האם מותר להשתמש במאגר למטרות מסחריות?
כן, הרישיון המדווח הוא apache-2.0 שמתיר שימוש מסחרי חופשי. עליכם רק לשמור על הקרדיט והודעות הרישיון המקוריות של היוצרים.
האם הנתונים כוללים תמיכה בעברית?
לא. כל הפרומפטים, שמות האובייקטים וההוראות כתובים באנגלית בלבד. אם רוצים לבחון מודל בעברית, תצטרכו לתרגם את הטקסטים בעצמכם.
למה מיועד החלק שנקרא Unseen?
החלק הזה מכיל 77 דוגמאות עם שילובי יחסים מרחביים שלא הופיעו במאגר האימון של החוקרים. לפי כרטיס המאגר, אין להשתמש בו להערכה אם המודל הנבדק לא אומן מראש על RefSpatial.
איך מחשבים הצלחה של מודל על המאגר?
משווים את הנקודה הדו ממדית שהמודל חזה מול מסיכת האמת הבינארית של אותה דוגמה. המדד העיקרי הוא שיעור ההצלחה הממוצע, שמודד את אחוז החיזויים שנפלו בתוך שטח המסיכה.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets עם הנתיב BAAI/RefSpatial-Bench, ללא צורך באישור גישה מיוחד. המאגר כולל 565 קבצים וזמין גם במבנה תיקיות גולמי המכיל קובצי תמונה, מסיכות וקובץ הגדרות בפורמט JSON. השדות החשובים לעבודה כוללים את התמונה, פרומפט ההנחיה, תיאור העצם, מסיכת האמת להשוואה ומספר שלבי ההסקה. כדי להעריך מודל צריך לנרמל את קואורדינטות הנקודה שהפיק לגודל התמונה המקורי ולבדוק פגיעה בתוך המסיכה.
from datasets import load_dataset
ds = load_dataset("BAAI/RefSpatial-Bench")הרישיון
המאגר מופץ תחת רישיון apache-2.0 המאפשר שימוש מסחרי, שינוי והפצה של הנתונים. הרישיון דורש שמירת הודעות זכויות היוצרים והצהרות הרישיון המקוריות. אין חובת שיתוף זהה, כך שניתן לשלב את הנתונים בהערכה פנימית או בפיתוח מוצרים בלי לחשוף את הקוד שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים