OpenAoE-2000h
קוד פתוחinclusionAIother2026-07-07
סרטוני גוף ראשון של פעולות ידיים עם שחזור תלת ממדי ומסלולי מצלמה. החבילה מספקת תנועות ידיים מלאות וחלוקה לפעולות בסיסיות מתוך צילומי סמארטפון אמיתיים.
- 560,143הורדות בחודש
- 29לייקים
מה זה
כל רשומה מייצגת קטע וידאו שצולם בסמארטפון מגוף ראשון בקצב של 30 פריימים לשנייה, ברזולוציות של 720p או 1080p. הקבצים כוללים וידאו גולמי, וידאו מתוקן עיוותים, ופרמטרים אופטיים מלאים של המכשיר המצלם לפני ואחרי תיקון.
העיבוד בוצע בצינור פנימי שהפיק שחזור תלת ממדי של הידיים לפי מודל MANO, עם נתוני מנח לכל מפרק באצבעות, גודל היד, ומנח שורש כף היד במערכת הקואורדינטות של המצלמה והעולם. במקביל, המערכת חישבה מסלול מצלמה במטרים באמצעות visual-SLAM, ותיוג אוטומטי מלא של מקטעי זמן הכולל פעולות בדידות, חלוקה ליד ימין או שמאל, תיאור באנגלית ותיחום האובייקט בפריים.
הנתונים שוחררו בהדרגה, החל מחבילות קטנות של כ־3 שעות ו־100 שעות, כאשר היעד המלא הוא 2000 שעות שנמצאות בתהליך העלאה מתמשך עם עדכונים שהוסיפו מאות שעות לאורך הזמן.
מתאים ל
- אימון רובוטיקה לתפעול
לימוד מודלים לחיקוי תנועות ידיים אנושיות ותפיסת חפצים מתוך הדגמות וידאו בזווית גוף ראשון.
- שחזור ידיים בתלת ממד
הערכה ואימון של רשתות לחיזוי מנח מפרקי היד ופרמטרי MANO מתוך פריימים בודדים או רצפים.
- זיהוי פעולות בווידאו
זיהוי מקטעי פעולה בדידים של אינטראקציה בין יד לאובייקט בסביבות ביתיות לפי תיוגי זמן.
איפה זה נופל
שחזור התנועה והתיוג אינם ידניים אלא תוצר של מודלים אוטומטיים ו־SLAM, ולכן יש בהם רעש, אי דיוקים ופריימים שבהם הזיהוי נכשל. קובצי המסלול מכילים רק מטריצות ולא מפות עומק פר פרייט. הטקסט והתיוגים קיימים באנגלית ובסינית בלבד, ללא עברית. כמו כן, מדובר בהעלאה שעדיין נמשכת, ובעבר הוסרו דגימות עקב חוסר התאמה בין נתוני העדשה לרזולוציית הווידאו.
שאלות
נפוצות
האם מותר להשתמש בו למוצר מסחרי?
זה מורכב ותלוי באילו קבצים נוגעים. קובצי הווידאו והתיוגים מותרים מסחרית בכפוף למתן קרדיט, אבל קובצי שחזור הידיים והמסלול כפופים לרישיון של מודל MANO שמגביל שימוש כזה. אם המודל שלכם מתאמן ישירות על קובצי ה־npz התלת ממדיים, תצטרכו לבדוק מול הרישיון של MANO.
כמה שעות וידאו זמינות להורדה כרגע?
החבילה המלאה מתוכננת להגיע ל־2000 שעות, אך היא מועלית בחלקים ועדיין נמצאת בעבודה. עד כה שוחררו מקטעים של כ־3 שעות, 100 שעות, ועוד מספר העלאות שהצטברו ליותר מ־1200 שעות נוספות.
האם יש בנתונים תמיכה בעברית?
לא. התיוגים הטקסטואליים של הפעולות, התיאורים ושמות הסצנות כתובים באנגלית בלבד, ומקור הנתונים מוגדר עם שפות zh ו־en. אין שום תיעוד או תמלול בשפה העברית.
איך נאספו הנתונים והאם השחזור מדויק לחלוטין?
הסרטונים צולמו במכשירי סמארטפון אמיתיים בסביבות שונות, אך כל שחזור התלת ממד, המסלולים ותיוג הפעולות נוצרו אוטומטית בעזרת אלגוריתמים ולא נמדדו עם חיישני מעקב תנועה חיצוניים. המשמעות היא שישנם פריימים שגויים, והכרטיס מדגיש שחובה להשתמש במסכת התקינות pred_valid כדי לסנן נתונים לא אמינים.
איך טוענים
המידע מגיע במבנה ספריות לכל דגימה, וכולל קובצי וידאו mp4 לצד קובצי numpy בפורמט npz וקובצי json. כדי לעבוד עם שחזור הידיים טוענים את hands.npz או camera_traj.npz. חובה לשים לב למערך pred_valid שמגיע כמספרים עשרוניים של 0.0 או 1.0, ולסנן פריימים לא תקינים לפני השימוש. בנוסף, חותמות הזמן ומספרי הפריימים בקובץ ego_action_annotation.json שמורים כמחרוזות טקסט ויש להמיר אותם למספרים בקוד.
from datasets import load_dataset
ds = load_dataset("inclusionAI/OpenAoE-2000h")הרישיון
הווידאו, נתוני המצלמה והתיוגים מותרים לשימוש מחקרי ומסחרי תחת ייחוס ליוצרים ולמאמר שלהם. עם זאת, קובצי התלת ממד שמבוססים על MANO כפופים לרישיון הנפרד והמגביל של MANO, כך שלא בטוח שתוכלו להשתמש בהם מסחרית. קוד המקור בפרויקט מופץ תחת Apache 2.0 אך אינו חל על הנתונים עצמם.