Gen-EgoData

מה זה

המאגר כולל חמש מאות דגימות בגוף ראשון באורך כולל של 4.23 שעות, והוא מוגדר כדגימה מתוך פרויקט רחב יותר. כל הנתונים מגיעים מסביבות ביתיות ומחולקים לעשר משימות שונות, חמישים הקלטות לכל משימה. המבנה ההיררכי מסווג כל פעולה לפי תחום, תרחיש, משימה ומיומנות ספציפית.

ההקלטות מתמקדות בארבעה חדרים: חדר שינה, מטבח, סלון וחדר עבודה. הפעולות שתועדו כוללות קיפול חולצות ומכנסיים, סידור סכו"ם, צלחות וקערות, סידור שולחן ותרופות, שריכת שרוכים ואיסוף נעליים מפוזרות, לצד סידור ספרים ושולחן עבודה. הנתונים מכילים זרמי מידע מולטימpropertyודאליים שכוללים תצפיות, פעולות, מטא דאטה ומיקומי סלאם.

מתאים ל

• אימון תפיסה לרובוטיקה

  למידת מיומנויות של מניפולציה ביתית, כמו קיפול בגדים וסידור חפצים, מתוך צילום גוף ראשון.

• הערכת אלגוריתמי סלאם

  בדיקת איכות של מעקב תנועה ומיפוי מרחבי בסביבה ביתית דינמית מול נתוני המיקום הקיימים.

• למידת חיקוי וחיזוק

  שימוש ברצפי פעולות ותצפיות להזנת מודלים של קבלת החלטות עבור זרועות רובוטיות.

איפה זה נופל

זהו רק מדגם קטן מתוך מאגר גדול, עם קצת יותר מארבע שעות הקלטה בסך הכל. חמישים דוגמאות למשימה זה מעט מאוד כדי לאמן מודל יציב מאפס, במיוחד כשרוצים הכללה לסביבות חדשות, לתאורה שונה או לחפצים אחרים מאלו שצולמו.

הטקסט והמטא דאטה מגיעים באנגלית ובסינית, ללא עברית. בנוסף, הנתונים הוקלטו באמצעות מכשיר ייעודי של החברה ואלגוריתם המיקום שלהם, כך שכל סטייה או שגיאת חישוב במכשיר המקורי נכנסה ישירות לתוך קובצי הנתונים שתקבלו.

איך טוענים

כל דגימה נשמרת בקובץ בודד בפורמט mcap, שמכיל את כל זרמי המידע של המיומנות הרלוונטית. במאגר יש 502 קבצים, והגישה אליהם פתוחה ישירות ללא צורך בהרשאה מיוחדת.

כדי לפתוח, לטעון ולנתח את הקבצים צריך להשתמש בכלי הייעודי של המפתחים, das-datakit, שנמצא בגיטהאב שלהם. למי שרוצה לבדוק את התוכן בעין לפני שכותבים קוד עיבוד, החברה מספקת קישור לכלי תצוגה מקוון.

from datasets import load_dataset

ds = load_dataset("genrobot2025/Gen-EgoData")

הרישיון

הרישיון הוא cc-by-sa-4.0. מותר להשתמש בו לצרכים מסחריים ופרטיים, אך חובה לתת קרדיט ליוצרים. המשמעות המרכזית היא מנגנון השיתוף הזהה: אם תשנו את הדאטהסט או תבנו עליו יצירה נגזרת, תצטרכו להפיץ אותה תחת אותו הרישיון בדיוק. כדאי להתייעץ משפטית לגבי השלכות הרישיון על משקלי מודל שאומן עליו.

• שימוש מסחרי
• שינוי הקוד
• חובת שיתוף באותו רישיון

הרישיון המלא ב־Hugging Face ↗