MPII_Human_Pose_Dataset
קוד פתוחVoxel51bsd-2-clause2024-05-07
תמונות מיוטיוב עם תיוגי מפרקים של עשרות אלפי אנשים במאות פעילויות יומיומיות. הוא רלוונטי למי שרוצה לאמן או לבדוק מודלים של הערכת תנוחה אנושית על מידע מגוון מהחיים האמיתיים.
- 3,755הורדות בחודש
- 17לייקים
מה זה
המאגר כולל קרוב ל־25 אלף תמונות שנחתכו מתוך סרטוני יוטיוב, ובהן מופיעים מעל 40 אלף אנשים עם תיוג מפרקי גוף. התמונות נאספו בצורה שיטתית סביב טקסונומיה של 410 פעילויות אנושיות יומיומיות, כך שכל תמונה מגיעה גם עם תווית הפעילות המתאימה. בנוסף, כל פריים מתויג מלווה בפריימים עוקבים וקודמים שלא תויגו.
במקור החומר מחולק לאימון ומבחן, כאשר סט המבחן כולל תיוגים עשירים יותר כמו הסתרות של איברי גוף וכיוון תלת ממדי של הראש והגו. עם זאת, היוצרים מחזיקים את תיוגי המבחן אצלם כדי למנוע התאמת יתר ולא מאפשרים גישה ישירה אליהם בקובץ.
מתאים ל
- הערכת תנוחה לאדם יחיד
אימון ובדיקת מודלים לזיהוי מפרקים ושלד של אדם בודד בתמונה מתוך פעילות ברורה.
- זיהוי תנוחה מרובת משתתפים
איתור מפרקים ומיפוי של מספר אנשים שונים בו זמנית בתוך אותה סצנה.
- סיווג פעולות אנושיות
שימוש בתוויות הפעילות מתוך 410 הקטגוריות כדי לסווג מה האדם עושה בתמונה.
איפה זה נופל
התמונות נאספו מיוטיוב בשנת 2014, ולכן איכות הווידאו, הרזולוציה וההקשרים התרבותיים מייצגים את אותה תקופה בלבד. אין פה טקסט רב לשוני מעבר לתוויות באנגלית. הבעיה העיקרית היא שאין גישה חופשית לתיוגי סט המבחן דרך המאגר, מה שמקשה על הערכה עצמאית בלי שרת הבדיקה של החוקרים. בנוסף, חומר ויזואלי מהאינטרנט סובל מהטיות ייצוג של מי שמעלה תכנים לרשת.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. למרות שהקוד והמבנה מוגדרים תחת רישיון BSD, התמונות שייכות ליוצרי הווידאו ביוטיוב. בעלי המאגר מציינים בפירוש שאינם מחזיקים בזכויות עליהן והשימוש מותר למחקר בלבד.
האם יש במאגר תמיכה בעברית?
אין במאגר עברית כלל. מדובר במאגר תמונות מיוטיוב, וכל התיוגים ושמות 410 הפעילויות כתובים באנגלית בלבד.
איך הנתונים נאספו ונבנו במקור?
החוקרים אספו סרטונים מיוטיוב לפי חלוקה מוגדרת מראש של 410 פעילויות יומיומיות, חילצו פריימים, ותייגו ידנית נקודות מפרק של אנשים. יחד עם כל פריים נשמרו גם הפריימים שבאו מיד לפניו ואחריו.
למה חסרים תיוגים לחלק מסט המבחן?
החוקרים בחרו במכוון לא לפרסם את תיוגי סט המבחן כדי למנוע ממפתחים לאמן מודלים שמותאמים ספציפית לנתוני הבדיקה. ההערכה הרשמית מיועדת להתבצע מול שרת בדיקה אוטומטי של הפרויקט.
איך טוענים
הגרסה הזו ארוזה כדאטהסט של FiftyOne ויושבת ב־Hugging Face, כך שאין צורך באישור גישה מיוחד כדי להוריד. טוענים אותה בפייתון דרך הספרייה fiftyone באמצעות פקודת load_from_hub של החבילה. בפנים יש קרוב ל־25 אלף קובצי jpg, כך שמדובר בהורדה לא קטנה של תמונות ומבני נתונים שיובאו מקובצי מטלאב המקוריים.
from datasets import load_dataset
ds = load_dataset("Voxel51/MPII_Human_Pose_Dataset")הרישיון
הרישיון מוגדר bsd-2-clause על הקוד והתיוגים, אבל הטקסט עצמו קובע במפורש שהשימוש מותר למטרות מחקר בלבד. אסור להשתמש בנתונים לצרכים מסחריים כיוון שהחוקרים לא מחזיקים בזכויות היוצרים של התמונות המקוריות מיוטיוב. אם אתם בונים מודל מסחרי לחברה, אי אפשר להשתמש במאגר הזה.