embodied_reasoner
קוד פתוחzwq2018רישיון לא דווח2025-03-19
המאגר כולל מסלולי פעולה וחשיבה מלאים של סוכנים בסביבות ביתיות סימולטיביות. הוא מתאים למי שרוצה לאמן מודלי ראייה שפה לתכנן צעדים ולפתור משימות פיזיות מורכבות.
- 1,455הורדות בחודש
- 22לייקים
מה זה
הנתונים מורכבים מ 9,390 מסלולי אימון מלאים של תצפית, מחשבה ופעולה, ועוד 809 מקרי מבחן להערכה. המסלולים כוללים כ 64,000 תמונות מגוף ראשון וכ 8 מיליון טוקנים של תהליכי חשיבה מפורטים, כמו ניתוח מצב, הסקת מסקנות מרחבית, רפלקציה עצמית ותכנון משימה. המידע נאסף מ 107 סצנות פנים שונות בסימולטור AI2 THOR ומכסה כ 2,100 חפצים אינטראקטיביים.
המשימות מחולקות לארבעה סוגים ראשיים: חיפוש חפצים גלויים או סגורים, מניפולציה פיזית כמו תפיסה או הפעלה, שינוע חפצים בין מכלים שונים, ומשימות מורכבות שדורשות העברה סדרתית של מספר פריטים. קובץ המקור מכיל תגיות מבניות של שלבי החשיבה וההחלטות, וקובץ נפרד ממיר את אותם הנתונים למבנה של שיחה רב שלבית עם תיאורים טבעיים יותר שמתאימים ישירות לכוונון מודלים.
מתאים ל
- אימון סוכנים לרובוטיקה
לימוד מודלים לתכנן שרשרת פעולות לניווט ואיסוף חפצים בסביבה ביתית.
- הסקה ויזואלית רב שלבית
כוונון מודלי שפה וראייה לבצע ניתוח מרחבי ורפלקציה עצמית תוך כדי אינטראקציה.
- הערכת תכנון ארוך טווח
בדיקת יכולת המודל להשלים משימות שינוע מורכבות בעזרת 809 מקרי מבחן מובנים.
איפה זה נופל
כל הנתונים סינתטיים לחלוטין ומבוססים על סביבת AI2 THOR, כך שיש פער מובנה לעומת תמונות ומכשולים בעולם האמיתי. הטקסט וההוראות קיימים באנגלית בלבד ונוצרו על בסיס תבניות קבועות מראש, בלי גיוון לשוני רחב. המאגר פורסם במרץ 2025, והוא בודק התנהגות במרחב סגור ומוגדר בלבד, כך שלא כדאי להסתמך עליו כמוצר מוכן לרובוטיקה פיזית בלי אימון מקדים על מידע אמיתי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, לפי התיעוד המאגר משוחרר ברישיון Apache 2.0 שמתיר שימוש מסחרי ללא תשלום. יחד עם זאת, במטאדאטה של העמוד הרישיון סומן כלא ידוע, כך ששווה לוודא עמידה בתנאי הרישיון המוצהר בטקסט.
האם הנתונים כוללים עברית?
לא, כל ההוראות והמסלולים נכתבו ונוצרו באנגלית בלבד. אם המטרה היא להפעיל את המודל בהוראות בעברית, תצטרכו לתרגם את תבניות ההנחיה והטקסטים בעצמכם.
איך הנתונים נאספו?
המסלולים סונתזו בסביבת הסימולציה AI2 THOR על פני 107 סצנות ביתיות. התמונות נוצרו מנקודת מבט של גוף ראשון, ותהליכי החשיבה והפעולות נבנו באמצעות תבניות מוגדרות מראש לחיפוש, תפיסה ושינוע חפצים.
באיזה פורמט מגיעים הקבצים?
הנתונים הטקסטואליים ומסלולי החשיבה מגיעים בקובצי JSON מוכנים לאימון. התמונות שמלוות כל צעד שמורות כארכיוני zip בתוך תיקיית תמונות, וצריך לפתוח אותם מקומית כדי לחבר אותן לרצף הפעולות.
איך טוענים
המאגר ציבורי ופתוח להורדה ישירה ללא צורך באישור גישה. הוא מחולק לקובצי JSON המכילים את המסלולים, ההוראות והמיקומים, לצד תיקיית תמונות שמפוצלת למספר קובצי zip לפי סוגי המשימות, אותם חייבים לחלץ לפני שמתחילים לעבוד. הקובץ המרכזי שמעניין את רוב מי שמפתח הוא קובץ השיחה הרב שלבית או קובץ המסלול הגולמי, שמקשר בין מזהי התמונות לצעדי הפעולה והחשיבה.
from datasets import load_dataset
ds = load_dataset("zwq2018/embodied_reasoner")הרישיון
המטאדאטה של המאגר מציינת שלא דווח רישיון, אבל בתוך התיעוד עצמו המחברים מצהירים על רישיון Apache 2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה של הנתונים, ואינו מחייב אתכם לפתוח את קוד המקור של מודל שתאמנו עליו. נדרש רק לשמור על הודעת זכויות היוצרים והייחוס למחברים.