Motion-Xplusplus
קוד פתוחYuhongZhangרישיון לא דווח2024-12-12
המאגר כולל תנועות גוף שלמות בתלת ממד עם נקודות ציון, רשתות מפרקים ותיאורי טקסט. הוא מתאים למי שמאמן מודלים לשחזור תנועה מווידאו או יצירת תנועה מהוראות כתובות.
- 1,185הורדות בחודש
- 21לייקים
מה זה
הנתונים מחולקים למספר תצורות תנועה שמכסות את כל הגוף, כולל פנים, כפות ידיים ורגליים. יש כאן נקודות ציון דו ממדיות במבנה של COCO-WholeBody, לצד מודלים תלת ממדיים בפורמט SMPL-X שמופרדים לתנועה מקומית מול מצלמה וירטואלית ולתנועה גלובלית שחושבה בעזרת SLAM. עבור משימות יצירת תנועה, הקבצים כוללים אופטימיזציה נוספת שמזהה נקודות מגע של הרגליים בקרקע כדי לדייק את המסלול והמהירות.
לצד נתוני התנועה יש שתי שכבות של מלל. שכבה אחת היא תיאורים סמנטיים של הפעולה כולה שנכתבו באמצעות GPT-4V, והשכבה השנייה מפרטת תנועות מפרקים ספציפיות והבעות פנים שחולצו בעזרת המודלים Posescript ו־EMOCA. המקורות עצמם מגיעים מאוספים שונים לפי שמות קובצי הארכיון, בהם haa500, humman, idea400, kungfu, music, perform וסרטוני אנימציה.
מתאים ל
- יצירת תנועה מטקסט
שימוש בתיאורים הסמנטיים לצד נתוני SMPL-X כדי לאמן מודלים שמייצרים אנימציה מהנחיות כתובות.
- שחזור רשת תלת ממדית
אימון אלגוריתמים לשחזור מבנה הגוף והתנועה מתוך תמונות או רצפי וידאו בעזרת נתוני התנועה המקומית.
- הערכת תנוחת גוף שלמה
בניית מודלים לזיהוי נקודות ציון דו ממדיות של הגוף, הפנים וכפות הידיים מתוך קובצי ה־COCO-WholeBody.
איפה זה נופל
חלק ניכר מהתיוגים מבוסס על מודלים אוטומטיים כמו GPT-4V, EMOCA ו־SLAM, ולא על בדיקה אנושית ידנית. זה אומר שטעויות הערכה של מודל המקור זלגו ישירות לתוך הנתונים. שפת התיאורים היא אנגלית בלבד, ואין שום מידע על הגיל המדויק של הסרטונים המקוריים או על אופן הסינון שלהם. בנוסף, חסר פירוט לגבי נפח האחסון הכולל של כלל הארכיונים לפני שמתחילים בהורדה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון בעמוד לא דווח כלל. במצב כזה אין אישור להשתמש בנתונים למטרות רווח או לשלב מודל שאומן עליהם במוצר מסחרי. מומלץ לפנות ישירות ליוצר כדי לקבל הבהרה או הרשאה מתאימה.
האם יש במאגר טקסט בעברית?
לא, התיאורים הסמנטיים והניתוחים המילוליים של התנוחות נכתבו באנגלית בלבד באמצעות GPT-4V ו־Posescript. מי שרוצה לעבוד בעברית יצטרך לתרגם את הטקסטים בעצמו לפני תחילת האימון.
איך נאספו ונוצרו הנתונים במאגר?
התנועות נלקחו ממספר מקורות וידאו שונים כמו סרטי קונג פו, מוזיקה ואנימציה. לאחר מכן, החוקרים הפעילו שיטות SLAM לחישוב מסלולים גלובליים, חילצו נקודות ציון ורשתות SMPL-X, וצירפו תיאורי טקסט שנוצרו על ידי מודלים ייעודיים.
במה המאגר הזה שונה ממאגרי שלדים רגילים?
בניגוד למאגרים שמסתפקים בנקודות שלד בסיסיות, כאן יש כיסוי של כל חלקי הגוף כולל פנים וכפות ידיים. בנוסף, הוא מספק במקביל גם נקודות דו ממדיות, גם רשתות תלת ממדיות מותאמות מגע, וגם תיאורים טקסטואליים מפורטים לכל קטע תנועה.
איך טוענים
המאגר מורכב מ־89 קבצים, רובם ארכיוני zip שמחולקים לפי תת-מאגרים ומשימות. אין כאן מנגנון של טעינה ישירה בשורה אחת דרך הספרייה הרגילה של Hugging Face, אלא צריך להוריד את קובצי ה־zip הרלוונטיים למשימה שלכם, לפתוח אותם ולסדר את התיקיות מול הקוד. הגישה חופשית ואינה דורשת אישור מוקדם, אך כדאי לשים לב שפורמט SMPL-X דורש תאימות למבנה 322 נקודות המגע אם עובדים על מחוללי תנועה.
from datasets import load_dataset
ds = load_dataset("YuhongZhang/Motion-Xplusplus")הרישיון
היוצר לא הגדיר רישיון שימוש במאגר. מבחינה משפטית, היעדר רישיון משמעו שכל הזכויות שמורות ולא ניתנה הרשאה מפורשת לשימוש מסחרי, הפצה מחדש או אימון מודלים שמיועדים למכירה. אם אתם בונים מוצר מסחרי, לא כדאי להסתמך על הדאטהסט הזה לפני שמקבלים אישור כתוב מבעלי הזכויות.