VIMA-Data

מה זה

הנתונים מחולקים לפי 13 משימות שונות מתוך VIMA-Bench, ובסך הכל יש כאן 650 אלף מסלולי תנועה. כל ההדגמות נוצרו על ידי אורקל מתוכנת בסביבה ממוחשבת ולא הגיעו מרובוט אמיתי או מהפעלה אנושית. המטרה היא לאמן סוכנים שמסוגלים להבין הוראות המשלבות טקסט ותמונה ולתרגם אותן לפעולות פיזיות.

המבנה הפנימי מסודר בתיקיות לפי משימות ומסלולים. בכל תיקיית מסלול תמצאו שתי זוויות צילום בתיקיות נפרדות, מלפנים וממעוף ציפור, יחד עם שלושה קובצי פקדים בפורמט pkl. הקובץ obs כולל סגמנטציה ואת מצב קצה הזרוע, הקובץ action מחזיק את הפעולות שהאורקל ביצע, והקובץ trajectory מכיל מטא-דאטה כמו צעדים שעברו ופרטי העצמים בסביבה. אין כאן סינון של דאטה מהרשת כי הכל יוצר ישירות בקוד של הסימולציה.

מתאים ל

• אימון סוכן לזרוע רובוטית

  לימוד מודלים לבצע משימות אחיזה והזזה מתוך שילוב של תמונות והוראות.

• בנצ'מרק למשימות מולטימודל

  בדיקת יכולת של מודלים להתמודד עם פקודות ויזואליות שונות בסביבה מבוקרת.

• למידת חיקוי ממוחשבת

  אימון ישיר על צעדי האורקל כדי לשחזר מסלולים מדויקים בסימולציה.

איפה זה נופל

כל הדאטה מגיע מסימולטור ומאורקל מתוכנת, ולכן אין כאן רעש של העולם האמיתי, טעויות אנוש או בעיות תאורה מורכבות. המאגר פורסם בסוף 2022 ומוגבל ל־13 המשימות המוגדרות מראש. שפות טבעיות אינן מגוונות כאן, ובוודאי שאין תמיכה מובנית בעברית. מי שמפתח מוצר לזרוע פיזית יצטרך לבדוק היטב את פער המציאות מול הסימולציה לפני שהוא סומך על התוצאות.

איך טוענים

המאגר מגיע כקובץ מכווץ בודד, vima.zip, לצד התיעוד. אין צורך באישור גישה מיוחד כדי להוריד אותו. אחרי הפריקה תעבדו עם קובצי pickle ותיקיות תמונות רגילות, כך שתצטרכו פייפליין בפייתון שיודע לטעון את הפקדים ולקרוא את המצבים והפעולות יחד עם הפריימים. כדאי להכין שטח אחסון מרווח מראש, כי פריסה של מאות אלפי מסלולים עמוסי תמונות מייצרת עומס כבד על הדיסק.

from datasets import load_dataset

ds = load_dataset("VIMA/VIMA-Data")

הרישיון

הרישיון הוא CC BY 4.0. אפשר להשתמש בנתונים לצרכים מסחריים ומחקריים, לשנות אותם ולבנות עליהם מודלים. החובה היחידה היא לתת קרדיט מתאים ליוצרים, ואין דרישה לשתף את התוצרים באותו הרישיון בדיוק.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗