PhysicalAI-VANTAGE-Bench
קוד פתוחnvidiaother2026-05-04
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
המאגר כולל סרטונים ותמונות ממצלמות נייחות במחסנים, ערים חכמות וכבישים. הוא נבנה לבדיקת ביצועים של מודלים בהבנת וידאו על בסיס שמונה משימות שונות.
- 2,106הורדות בחודש
- 15לייקים
מה זה
הנתונים מחולקים לפי שמונה משימות הערכה בארבע קטגוריות: הבנה סמנטית, זמן, מרחב, ומעקב לאורך זמן. החלוקה כוללת שאלות ותשובות על וידאו, אימות אירועים, כיתוב וידאו רציף, איתור מקטעי זמן, זיהוי תיחום אובייקטים, ביטויי הפניה מרחביים, הצבעה מרחבית ומעקב אחר אובייקט בודד. בסך הכל ישנם 3,346 פריטי מדיה ו־35,027 רשומות תיוג שנשמרות בצד השרת.
מקור הווידאו הוא שילוב של שלושה מקורות: צילומים שסופקו מספקים באמצעות מצלמות גופרו במחסנים ובחללים חכמים, הדמיות סינתטיות מתרחישי התנגשות ומצלמות מרובות במערכת DriveSim, וקטעי וידאו ציבוריים שגורדו מכבישים ומערכות תחבורה של דובוק. התיעוד מבוסס על צילום תשתיתי קבוע.
שיטת התיוג היברידית. שאלות הווידאו, הכיתוב והאיתור בזמן נכתבו בעיקר על ידי בני אדם. התיוגים המרחביים שולבו מעבודה אנושית ומתהליכי תיוג אוטומטיים שמבוססים על מודלי זיהוי יחד עם SAM לצורך הצבעה, בעוד שאימות האירועים עבר סינון אנושי.
מתאים ל
- בדיקת מודלים על מצלמות עיר
מדידת יכולת הניתוח של מודלי שפה ווידאו מול תרחישי תחבורה וכבישים בזוויות קבועות.
- הערכת מעקב במחסנים לוגיסטיים
בחינת אלגוריתמים למעקב אחר אובייקטים ומסלולים בתוך סביבות עבודה ומבנים סגורים.
- מבחן מענה לשאלות על וידאו
הערכת היכולת של מערכות ראייה ממוחשבת לענות על שאלות אמריקאיות לגבי אירועים בסרטונים.
איפה זה נופל
הבעיה המרכזית היא שאי אפשר לאמן על הנתונים או לבצע בדיקה עצמאית על המחשב שלכם, כי התיוגים הנכונים מוסתרים בשרת. בנוסף, חלק מסרטוני המחסנים הם קטעים שחוברו יחד מהקלטות ארוכות יותר, מה שעלול לייצר קפיצות לא טבעיות בזמן. המאגר מוגבל למצלמות תשתית קבועות בלבד, ואינו כולל שפות אחרות מלבד אנגלית או נתונים מתחבורה מקומית בישראל.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
לא. המאגר שוחרר תחת רישיון הערכה בלבד של אנבידיה ונועד למדידת ביצועים, כך שאסור לאמן עליו מודלים מסחריים.
כמה שטח אחסון צריך בשבילו?
ההורדה דורשת 42 גיגה בייט של שטח פנוי בכונן. הנתונים כוללים קובצי וידאו בפורמט mp4 ותמונות בפורמט jpg.
האם יש במאגר נתונים בעברית?
אין שום תוכן בעברית. הטקסטים של השאלות, ביטויי ההפניה והתיוגים מבוססים על השפה האנגלית בלבד.
איך מודדים ביצועים אם התיוגים חסומים?
מריצים את המודל המקומי שלכם על קובצי המדיה ומייצרים קובץ חיזוי לפי הפורמט הנדרש. את הקובץ מעלים לפורטל הבדיקה הייעודי, ושם המערכת משווה את התוצאות לתיוגי האמת ומציגה את הציון בלוח המובילים.
איך טוענים
הקבצים מאוחסנים בפורמטים של וידאו mp4 ותמונות jpg, לצד קובצי מטא דאטה והנחיות במבנה json ו־jsonl. נפח האחסון הכולל של המאגר הוא 42 גיגה בייט. לא צריך להירשם לאישור גישה מיוחד כדי להוריד את הקבצים, אך אי אפשר לבדוק תוצאות מקומית כי התיוגים הנכונים מוחזקים בצד השרת של אנבידיה. את הפלטים שולחים לפורטל הבדיקה של הפרויקט לקבלת ניקוד בלוח התוצאות הרשמי.
from datasets import load_dataset
ds = load_dataset("nvidia/PhysicalAI-VANTAGE-Bench")הרישיון
המאגר מופץ תחת רישיון ההערכה של אנבידיה. השימוש מוגבל לצורכי בדיקה והערכה בלבד, ולא ניתן להשתמש בו לאימון מודלים או לשימוש מסחרי ישיר. מודל שנבדק מול המאגר לא מקבל זכויות שימוש בנתונים עצמם מעבר לתוצאות המדידה בשרת.