PhysicalAI-Robotics-Open-H-Embodiment
קוד פתוחnvidiacc-by-4.02026-02-06
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
מאגר וידאו וקינמטיקה מקיף שמיועד לאימון מודלים לרובוטיקה רפואית, ניתוחים ואולטרסאונד. הוא מרכז נתונים מעשרות מוסדות מחקר בפורמט אחיד שמאפשר לגשת ישר לעבודה.
- 63,786הורדות בחודש
- 49לייקים
מה זה
המאגר כולל 750 שעות של נתוני אימון המפוצלים לכ־120 אלף מסלולים, כולם שילוב בין הקלטות וידאו לבין מדידות קינמטיקה תואמות. המידע מכסה משימות מגוונות, מאימוני שולחן ותרגול בסיסי, דרך פרוצדורות קליניות ממשיות כמו אנדוסקופיה, ועד סימולציות ייעודיות לרובוטיקה רפואית.
עשרות בתי חולים, אוניברסיטאות וחברות מסחריות בעולם תרמו לכאן חומרים, כולל מוסדות כמו ג'ונס הופקינס, סטנפורד, CUHK וחברות מכשור רפואי. שיטות האיסוף והתיוג היברידיות לחלוטין ומשלבות עבודה אנושית, חיישנים אוטומטיים ומידע סינתטי ממוחשב. הנתונים מאורגנים לפי תחומים ומוסדות, כאשר כל אפיזודה מקושרת לקבצי הווידאו והחיישנים המתאימים.
מתאים ל
- אימון מודלי תנועה כירורגיים
לימוד חיזוי תנועה ושליטה בזרועות רובוטיות במהלך פרוצדורות עדינות על בסיס נתוני קינמטיקה ווידאו מסונכרנים.
- פיתוח מודלי יסוד לעולם הרפואי
אימון מודלי ראייה ושפה או מודלי עולם המסוגלים להבין סביבות רפואיות, פעולות אנדוסקופיה ומכשור אולטרסאונד.
- הערכת ביצועי אוטונומיה
שימוש במסלולים המוקלטים כבסיס השוואה לבדיקת אלגוריתמים לתכנון מסלול בדיוק גבוה לפני מעבר לסביבה חיה.
איפה זה נופל
חלק ניכר מהנתונים מגיע מסימולציות ומאימונים בתנאי מעבדה ולא מפרוצדורות חיות על מטופלים אמיתיים, פער שחייבים לקחת בחשבון אם המטרה היא מערכת קלינית אמתית. מכיוון שמדובר באיסוף היברידי מעשרות מוסדות שונים, הדיוק של התיוגים והאיכות של החיישנים לא אחידים בין החלקים השונים. אין פה נתונים טקסטואליים בשפות שונות או בעברית, הכל ממוקד בווידאו וקינמטיקה, ונדרשת התאמה זהירה אם מנסים להשליך ממשימות ניתוחיות מסוימות על פרוצדורות אחרות.
שאלות
נפוצות
האם מותר להשתמש בזה למוצר מסחרי?
כן, רישיון CC-BY-4.0 מתיר שימוש מסחרי מלא, כולל אימון מודלים שיוטמעו במוצרים סגורים. התנאי היחיד הוא מתן קרדיט ברור לפרויקט ולתורמים לפי תנאי הרישיון.
כמה מקום צריך לפנות בשביל להוריד אותו?
המאגר כולו שוקל 4.5 טרה-בייט ומכיל כ־89,450 קבצים. מומלץ להחזיק נפח אחסון פנוי גדול מזה באופן משמעותי לצורך פריסה, עיבוד מקדים ושמירת קבצי ביניים.
מאיפה הנתונים הגיעו ואיך הם נאספו?
המידע נאסף משילוב של עשרות אוניברסיטאות, בתי חולים וחברות רובוטיקה מובילות בעולם. האיסוף התבצע באמצעים היברידיים שכוללים הקלטות של מפעילים אנושיים, חיישנים אוטומטיים ונתונים מסימולציות.
באיזה פורמט שמורים הנתונים?
החומר שמור לפי תקן LeRobot בגרסה 2.1. קטעי הווידאו הם קבצי MP4, מדדי התנועה שמורים בפורמט Parquet, וקובצי מטא-דאטה מסוג JSON מחברים בין המיקומים בטבלאות לווידאו.
איך טוענים
הנפח הכולל עומד על 4.5 טרה-בייט ומחולק לכמעט 90 אלף קבצים, כך שצריך תשתית אחסון רצינית ורוחב פס מתאים לפני שמתחילים להוריד. המבנה מבוסס על תקן LeRobot בגרסה 2.1, שבו הווידאו נשמר כקבצי MP4 לכל אפיזודה, נתוני התנועה והקינמטיקה שמורים כטבלאות Parquet דחוסות, וקובצי JSON או JSONL מחברים בין השורות של המדידות לפריים המדויק בסרטון. אין צורך באישור גישה מיוחד, המאגר פתוח לחלוטין להורדה ישירה.
from datasets import load_dataset
ds = load_dataset("nvidia/PhysicalAI-Robotics-Open-H-Embodiment")הרישיון
המאגר מופץ תחת רישיון CC-BY-4.0. המשמעות היא שמותר להשתמש בו לצרכים מחקריים ומסחריים, כולל אימון מודלים קנייניים, בלי חובת שיתוף של הנגזרות באותו רישיון. הדרישה היחידה היא לתת ייחוס מתאים ליוצרים כפי שמוגדר ברישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס