360Motion-Dataset
קוד פתוחKlingTeamapache-2.02024-12-06
סרטונים סינתטיים עם מעקב תנועה מדויק בשלושה ממדים וזוויות צילום היקפיות. מתאים למי שמאמן מודלים ליצירת וידאו וצריך שליטה מלאה במסלול של אובייקטים במרחב.
- 248הורדות בחודש
- 31לייקים
מה זה
המאגר מכיל 72,000 סרטונים סינתטיים קצרים שנוצרו במנוע Unreal Engine, באורך של 99 פריימים ובקצב של 30 פריימים לשנייה, שזה בדיוק 3.3 שניות לסרטון. הסרטונים מגיעים בשתי רזולוציות שונות של 480 על 720 ושל 384 על 672, כאשר כל רזולוציה כוללת 36,000 קטעים.
התוכן מבוסס על 50 חיות שונות שנעות בתוך שישה רקעים, הכוללים סביבת מדבר אחת וחמש סביבות מבוססות תאורת HDRI כמו רחוב מושלג, פארק, חלל פנימי פתוח, אולם התעמלות ויער סתווי. התנועות מבוססות על 121 תבניות מסלול מוגדרות מראש עבור ישות אחת, שתיים או שלוש בו זמנית, לצד נתוני מצלמה פנימיים וחיצוניים של 12 זוויות צילום היקפיות, קובצי תיאור טקסטואליים ומרחקי אובייקט ממצלמה.
מתאים ל
- אימון מודלי וידאו תלת ממדי
למידת יצירת וידאו עם שליטה ישירה במסלול התנועה של מספר אובייקטים במרחב לפי קואורדינטות מדויקות.
- שחזור זוויות צילום מרובות
הערכה ואימון של אלגוריתמים לצפייה היקפית באמצעות 12 מצלמות שמצלמות את אותה סצנה בו זמנית.
- הערכת תנועה רב ישותית
בדיקת יכולת המודל להתמודד עם תנועה מקבילה של עד שלוש חיות שונות בלי שהן יתנגשו או יתעוותו.
איפה זה נופל
כל הישויות בגרסה הציבורית הזו הן חיות בלבד. בניגוד לגרסה הפנימית של החוקרים שכללה גם 20 דמויות אנושיות וסביבות עירוניות, כאן בני אדם נחתכו לחלוטין בגלל בדיקות רישוי פנימיות. בנוסף, הסרטונים מרונדרים ולא אמיתיים, הרקעים מוגבלים לשישה תרחישים, והרזולוציה הנמוכה של 384 על 672 כוללת בפועל שוליים שחורים של שלושה פיקסלים למעלה ולמטה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן. הרישיון שמוגדר בפרויקט הוא apache-2.0, שמאפשר שימוש מסחרי מלא ואימון מודלים לכל מטרה. תצטרכו רק להקפיד על מתן קרדיט וצירוף עותק של הרישיון המקורי.
האם יש במאגר דמויות של בני אדם?
לא. הגרסה ששוחררה לציבור מוגבלת לחיות בלבד ומכילה 50 סוגי בעלי חיים. בני האדם שהיו בגרסה הפנימית של החוקרים נשארו מחוץ לקבצים עקב מגבלות רישוי פנימיות של החברה.
מה מקור הנתונים והסרטונים?
כל הדאטהסט מיוצר בצורה סינתטית במנוע Unreal Engine. אין כאן סרטונים מיוטיוב או מהעולם האמיתי, אלא מודלים תלת ממדיים שנרנדרו לאורך תבניות מסלול מוגדרות מראש.
האם המאגר כולל תיאורים בשפה העברית?
לא. שפת המאגר היא אנגלית בלבד, וכל תיאורי הדמויות והישויות בקובצי המטא-דאטה מופיעים באנגלית.
איך טוענים
הנתונים מחולקים לקובצי zip נפרדים לפי רזולוציה וסביבה, כמו קובצי מדבר וקובצי תאורה, לצד קובצי json של הגדרות המצלמה, תיאורי הדמויות ומיקומי התנועה. הגישה למאגר פתוחה לחלוטין ואין צורך באישור ידני. טעינת הסרטונים וסדרות התנועה מתבצעת בעזרת סקריפטים ייעודיים שהצוות פרסם בקוד המקור, שמאפשרים גם להציג ויזואלית את מסלולי התנועה בפורמט שש דרגות חופש באמצעות Open3D.
from datasets import load_dataset
ds = load_dataset("KlingTeam/360Motion-Dataset")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי של הנתונים והפצה מחודשת שלהם, ללא חובה לשתף נגזרות באותו רישיון. המשמעות היא שאתם יכולים לאמן מודלים מסחריים על הדאטהסט הזה, וכל מה שנדרש מכם הוא לתת ייחוס מתאים ולשמור על הצהרת זכויות היוצרים המקורית.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים