molmo-motion-1m
קוד פתוחallenaiother2026-06-10
מסד נתונים של מסלולי תנועה תלת ממדיים ודו ממדיים מתוך וידאו, מסונכרנים לתיאורי פעולה קצרים. הוא מיועד לחיזוי תנועה של נקודות במרחב לפי פקודות טקסט ברובוטיקה וראייה ממוחשבת.
- 923הורדות בחודש
- 17לייקים
מה זה
המאגר מורכב משבעה תתי מאגרים ממקורות שונים, ביניהם סרטוני גוף ראשון כמו EgoDex ו־HD-EPIC, הפעלת רובוטים בעולם האמיתי מתוך DROID, סרטוני טבע מ־YouTube-VIS, סצנות מציאות מדומה ב־Stereo4D והדמיות ממוחשבות מבית היוצר של Ai2. היקף הרשומות הכולל נע בין מיליון לעשרה מיליון קטעים, כשבכל קטע תמצאו מסלולי תלת ממד שסוננו לפי תנועה, נתוני מצלמה לכל פריים, חלוקת אימון ומבחן, ותיאור טקסטואלי קצר של הפעולה.
המבנה כאן דורש עבודה. המפרסמים לא מאחסנים מחדש את סרטוני הווידאו המקוריים, למעט בחלק של הסימולציה. עבור רוב המקורות מקבלים את קובצי המטא דאטה והמסלולים, לצד סקריפטים לשחזור הווידאו מול השרתים המקוריים. הקבצים עצמם מחולקים לתיקיות ייעודיות לכל מקור, ומכילים קובצי JSON שמשמשים כמקור המידע הבלעדי לצימוד הסרטונים והפריימים לקובצי המסלולים.
מתאים ל
- חיזוי תנועה תלת ממדית
אימון מודלים שמקבלים פריים והוראת שפה טבעית ומייצרים מסלולי תנועה של נקודות במרחב.
- בקרת זרועות רובוטיות
לימוד מדיניות פעולה לרובוטים בעזרת נתוני ההפעלה מרחוק והסימולציות הזמינים בחלקי DROID.
- מעקב נקודות בווידאו
הערכה וכיול של מודלים למעקב דו ממדי ותלת ממדי על סרטוני גוף ראשון וסצנות דינמיות.
איפה זה נופל
אם אתם בונים על הורדה ישירה ואימון מיידי, זה לא יקרה. התלות בהורדת סרטונים משבעה שרתים חיצוניים חושפת אתכם לקישורים שבורים, הגבלות קצב ושינויי גישה חיצוניים. הפורמטים אינם אחידים בין החלקים השונים, קצב הפריימים משתנה מקליפ לקליפ בין 6 ל־30, ותיאורי הפעולה קיימים באנגלית בלבד. בנוסף, בחלק מהמאגרים חסרים נתוני מצלמה או עומק, כך ששילוב של כולם יחד לצינור אימון אחד דורש כתיבת התאמות ייעודיות לכל מקור בנפרד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא כחבילה אחת שלמה. רוב המאגר נמצא תחת רישיון CC BY-NC 4.0 שאוסר כל שימוש מסחרי, כולל נתונים מאפל ומיוטיוב. אם אתם חייבים שימוש מסחרי, עליכם לסנן ולהשתמש רק בתתי המאגרים droid ו־molmospaces שמחזיקים ברישיון CC BY 4.0, בכפוף לציטוט מתאים.
האם המאגר כולל את קובצי הווידאו עצמם?
לא עבור רוב החלקים. המאגר מספק את נקודות התנועה, נתוני המצלמה, הטקסטים וסקריפטים ייעודיים. את הווידאו המקורי תצטרכו להוריד ולשחזר בעצמכם ישירות מהשרתים של יוצרי המאגרים המקוריים באמצעות הסקריפטים המצורפים.
האם יש תמיכה בעברית בתיאורי הפעולות?
המאגר מוגדר ומכיל טקסטים באנגלית בלבד. תיאורי הפעולות קצרים וממוקדים בשפה זו, כך שאם המטרה היא עבודה בעברית תצטרכו לתרגם את השדות או לאמן רכיב שפה מתווך.
למה מבנה הקבצים מורכב כל כך לפריסה?
בגלל שמדובר באיחוד של שבעה מקורות חיצוניים שונים. לכל מקור יש מבנה נתונים משלו בקובצי ה־NPZ, סדר צירים שונה בין דו ממד לתלת ממד וקצב פריימים משתנה, מה שמחייב קריאה מדויקת של קובצי ההסבר בכל תיקייה לפני טעינת הנתונים.
איך טוענים
מורידים את המאגר דרך כלי הפקודה של Hugging Face, אבל העבודה רק מתחילה שם. קובצי המסלולים והמצלמה מגיעים בארכיוני tar מחולקים של כעשרה גיגה בייט כל אחד, אותם צריך לפתוח ולמחוק מקומית לפי סקריפט ייעודי. לאחר מכן יש להריץ את סקריפטי השחזור כדי להוריד את קובצי הווידאו מכל שרת מקור. מבנה הנתונים בתוך קובצי ה־NPZ אינו אחיד. סדר הצירים בדו ממד שונה מהתלת ממד, שמות המפתחות משתנים לפי סוג האובייקט, וחלק מהמקורות דורשים אישורי גישה נפרדים כמו xperience.
from datasets import load_dataset
ds = load_dataset("allenai/molmo-motion-1m")הרישיון
הרישיון מפוצל ואינו מאפשר שימוש מסחרי מלא. חמישה מתוך שבעת המקורות, בהם אפל ויוטיוב, מופצים תחת CC BY-NC 4.0 המגביל למחקר ולמידה בלבד. רק החלקים של droid ו־molmospaces זמינים תחת CC BY 4.0 שמתיר שימוש מסחרי בכפוף למתן קרדיט. מודל שיאומן על כלל המאגר יהיה כבול למגבלות הלא מסחריות של המקורות המחמירים, בנוסף להנחיות השימוש האחראי של Ai2.