community_dataset_v3
קוד פתוחHuggingFaceVLAapache-2.02025-12-09
המאגר כולל הדגמות וידאו ותנועה מגוונות עבור 46 סוגי רובוטים שונים. הוא מתאים למי שרוצה לאמן מודלי ראייה שפה ופעולה שלא מוגבלים לחומרה בודדת.
- 14,016הורדות בחודש
- 24לייקים
מה זה
מדובר באוסף מבוזר של 791 תתי מאגרים שנאספו מ־235 תורמים שונים בעולם דרך תשתית LeRobot. בסך הכל יש כאן 50,622 מקטעי הדגמה שמסתכמים ב־25,971,082 פריימים וכ־251.5 שעות פעילות. כל תיקיית תורם מחולקת לקובצי Parquet עבור תצפיות ופעולות, קובצי וידאו MP4 מכמה זוויות צילום, ומטא־דאטה בפורמט JSON.
התוכן נאסף בתנאי עולם אמיתי מגוונים, אבל עבר סינון ראשוני לפני הפרסום. מתוך 851 תתי מאגרים מקוריים נמחקו כ־60 בגלל היעדר קובצי וידאו שלמים, טיפוסי נתונים ששברו את שלב האימון, או כשלים בהמרת המבנה. המפתחים גם יישרו את מספר המצלמות המרבי לשלוש כדי למנוע קריסות של ממדי טנסורים.
מתאים ל
- אימון מקדים למודלי VLA
לימוד מדיניות פעולה כללית הלומדת תנועה על גבי עשרות שלדות רובוטיות שונות במקביל.
- למידת חיקוי מרובת משימות
אימון זרועות בודדות או כפולות על פעולות אחיזה, מיון והרכבה מתועדות בווידאו.
- העברת ידע בין רובוטים
שימוש במאגר תנועות רחב כדי לאתחל מדיניות עבור שלדה חדשה עם מעט הדגמות מקומיות.
איפה זה נופל
יש כאן הטיה כבדה לכיוון זרועות מכניות פשוטות, כאשר תצורות so100 וגרסאותיהן מהוות לבדן יותר מ־70% מכלל המידע, בעוד פלטפורמות דמויות אדם או רובוטים ניידים כמעט שלא מיוצגים. איכות המידע אינה אחידה. קצבי הפריימים משתנים בין ההקלטות, חלק מצירי הזמן מציגים סטיות קלות, ותיאורי המשימות קיימים באנגלית בלבד ללא שום תמיכה בעברית. אל תשלחו את הנתונים האלה ישר לפרודקשן בלי לנקות ידנית בעיות סנכרון תנועה.
שאלות
נפוצות
האם מותר להשתמש במידע הזה במוצר מסחרי?
כן, רישיון apache-2.0 מאפשר שימוש מסחרי מלא באימון מודלים ובקוד. עליכם לכלול את תנאי הרישיון המקוריים ולהעניק קרדיט מתאים לפרויקט ולתורמים שיצרו את ההקלטות. החוקיות לגבי חשיפת המשקולות של מודל סופי אינה מגבילה אתכם לחשוף את הקוד שלכם.
האם המאגר כולל תמיכה בהוראות בעברית?
לא, המאגר מסווג ומתועד בשפה האנגלית בלבד. כל תיאורי המשימות והמטא־דאטה המצורפים לפרקים נכתבו באנגלית על ידי קהילת המפתחים. אם המערכת שלכם צריכה להבין פקודות בעברית, תצטרכו לתרגם את ההוראות הטקסטואליות בעצמכם לפני שלב האימון.
איך נאספו הנתונים האלה בפועל?
המידע הוקלט ונשלח על ידי 235 חברי קהילה שונים ברחבי העולם באמצעות סביבת העבודה של LeRobot. כל תורם השתמש בחומרה ובמצלמות שהיו ברשותו, מה שיוצר סביבות מגוונות אך גם חוסר אחידות טכני. לאחר מכן המפרסמים סיננו קבצים פגומים והתאימו את המבנה לאימון.
האם נדרש כונן גדול כדי להתחיל לעבוד איתו?
המאגר כולו מכיל מעל 93 אלף קבצים ועשרות מיליוני פריימים של וידאו וטבלאות. הורדה מלאה תגזול נפח אחסון ניכר ומשאבי רשת כבדים. מומלץ להוריד רק את התיקיות של התורמים או סוגי הרובוטים שרלוונטיים עבורכם במקום למשוך את כל האוסף.
איך טוענים
הורדת החומר דורשת התחברות לחשבון Hugging Face והגדרת טוקן גישה. המאגר מכיל 93,186 קבצים, כך ששמירה מקומית מלאה תדרוש נפח אחסון משמעותי ומוטב לבחור תיקיות תורם ספציפיות בעזרת ספריית lerobot. הטעינה נעשית דרך LeRobotDataset ישירות לנתיבי הקבצים, תוך שימוש במפענח וידאו כמו pyav לקריאת קובצי הווידאו יחד עם טבלאות הנתונים.
from datasets import load_dataset
ds = load_dataset("HuggingFaceVLA/community_dataset_v3")הרישיון
המאגר מופץ ברישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי הקוד והפצה מחדש, ואינו מחייב אתכם לשחרר מודלים שאימנתם תחת אותו רישיון. נדרש להעניק קרדיט לפרויקט, לשמור על הודעות זכויות היוצרים, ולוודא ייחוס מתאים לתורמי המידע הספציפיים שהשתמשתם בהקלטות שלהם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים