world_model_tokenized_data
קוד פתוח1x-technologiesapache-2.02024-06-18
מאגר נתונים מקודד של כ־100 שעות וידאו ומצבי רובוט מבית 1X Technologies. הוא מיועד ישירות לאימון מודלי עולם דחוסים לרובוטיקה בלי צורך בעיבוד וידאו גולמי כבד.
- 1,135הורדות בחודש
- 32לייקים
מה זה
המאגר כולל בין עשרה למאה מיליון רשומות המחולקות לקבצי בינאריים דחוסים. בגרסה 2.0 הנתונים מפוצלים למקטעי אימון, תיקוף ומבחן, כאשר אותות הווידאו קודדו מראש באמצעות NVIDIA Cosmos Tokenizer בפורמט בדיד של 30 הרץ, לצד זיהוי גבולות מקטעים. פנים של אנשים בווידאו טושטשו כדי לשמור על פרטיות.
במקביל לווידאו, המאגר מספק קובצי מצבי רובוט מסוג float32 עם 25 ממדים קבועים. הממדים האלה מתעדים תנועות מפרקים מפורטות כולל ירך, ברך, כתפיים, מרפקים, שורש כף יד וצוואר, יחד עם מדדי סגירת ידיים ומהירויות לינאריות וזוויתיות. הסט למבחן מכיל 450 דגימות ומיועד לתחרות דחיסת מודלי עולם.
מתאים ל
- אימון מודלי עולם ברובוטיקה
למידת חיזוי פריימים ומצבי מפרקים עתידיים על בסיס טוקנים קיימים ברשתות נוירונים.
- דחיסת רצפי וידאו ומצבים
פיתוח אלגוריתמים לצמצום גודל המידע הנדרש להפעלת מודלים אוטונומיים בזמן אמת.
- מחקר בקרת תנועה
מיפוי היחס בין זרם הווידאו למהירויות ומנחי מפרקים עם עשרים וחמישה ממדי מצב.
איפה זה נופל
זה לא מאגר וידאו גולמי אלא ייצוג טוקנים ספציפי של Cosmos Tokenizer, מה שמחייב אתכם לעבוד בארכיטקטורה הזו או לפענח הכל מחדש. מצבי הרובוט תואמים בדיוק למבנה המפרקים הפיזי של הרובוטים של חברת 1X ולא יתאימו ישירות לחומרה שונה. אין כאן שום מידע טקסטואלי, שפות, או נתוני שמע, והנתונים נאספו סביב סביבות הפעולה של החברה בלי פירוט על תנאי התאורה או מגוון המשימות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון המוגדר הוא Apache 2.0, והוא מאפשר שימוש מסחרי חופשי באימון מודלים ובהפצת תוצרים. החובה היחידה היא לכלול את תנאי הרישיון והקרדיט למפתחים.
האם המאגר כולל טקסט או תמיכה בעברית?
לא. מדובר במאגר נתוני וידאו מקודד ומצבי חיישנים של רובוט בלבד. אין בו שום תוכן שפתי, לא באנגלית ולא בעברית, למעט קובצי מטא-דאטה טכניים.
איך המידע שונה ממאגר הווידאו הגולמי של החברה?
הווידאו כאן אינו קובצי MP4 רגילים אלא טוקנים בדידים שנשמרו בפורמט בינארי של Nvidia Cosmos. בנוסף, המאגר הגולמי מוגבל לשימוש לא-מסחרי בלבד, בעוד המאגר המקודד הזה פתוח ברישיון Apache 2.0.
כיצד נאספו הנתונים במקור?
הנתונים מגיעים מרצפי וידאו ומדידות תנועה של כ־100 שעות פעילות רובוט. פניהם של בני אדם שצולמו במהלך האיסוף טושטשו לצורכי פרטיות לפני הקידוד.
איך טוענים
הורדת המאגר נעשית דרך huggingface-cli ישירות לנתיב מקומי. הנתונים שמורים כקבצי bin מחולקים לשארדים ולא כווידאו רגיל, כך שלא פותחים אותם בנגן אלא טוענים באמצעות סקריפטים ייעודיים כמו unpack_data_train_val.py או unpack_data_test.py שמצורפים למאגר. כדי לפענח את הטוקנים חזרה לתמונות תצטרכו להריץ את cosmos_video_decoder.py. אין צורך באישור גישה מיוחד.
from datasets import load_dataset
ds = load_dataset("1x-technologies/world_model_tokenized_data")הרישיון
המאגר מופץ תחת רישיון Apache 2.0 המאפשר שימוש מסחרי, שינוי והפצה של הנתונים ושל מודלים שיאומנו עליהם. הדרישה העיקרית היא מתן ייחוס מתאים ושמירה על הודעות הרישיון המקוריות, ללא חובת שיתוף באותו רישיון. שימו לב שמאגר הווידאו הגולמי הנפרד של החברה מוגבל ברישיון לא מסחרי, אך הנתונים המקודדים כאן חופשיים לחלוטין.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים