MultiCamVideo-Dataset
קוד פתוחKlingTeamapache-2.02025-03-30
סרטונים מסונכרנים מרובי מצלמות עם מסלולי תנועה מדויקים שרונדרו במנוע משחקים. הוא נותן בקרת מצלמה מלאה וקרקע מוצקה לאימון מודלי וידאו תלת ממדיים בלי רעש של צילום אמיתי.
- 4,280הורדות בחודש
- 47לייקים
מה זה
המאגר מכיל 13,600 סצנות דינמיות שונות. כל סצנה כוללת עשר מצלמות נפרדות שמצלמות בו זמנית, מה שמביא את המאגר לסך של 136,000 סרטונים ו־112,000 מסלולי מצלמה מוגדרים. כל הסרטונים מגיעים ברזולוציה ריבועית של 1280x1280, באורך של 81 פריימים ובקצב של 15 פריימים לשנייה.
התוכן כולו סינתטי ורונדר ב־Unreal Engine 5. החוקרים שילבו 37 סביבות תלת ממד מפלטפורמת Fab, שרובן ריאליסטיות כמו רחובות, משרדים ובתי קפה, לצד מעט סצנות מסוגננות. בתוך הסביבות האלה הוצבו 66 דמויות אנושיות מ־Fab ו־Mixamo, שהופעלו באמצעות 93 אנימציות של תנועות יומיומיות כמו ריקוד ועידוד. סביב הדמויות הוגדרו מסלולי מצלמה מגוונים, מקבועים ועד קשתיים ומקריים, בחלוקה שווה בין מהירות תנועה קבועה למשתנה.
מתאים ל
- אימון שליטה במצלמה בווידאו
לימוד מודלי וידאו לשנות זווית ותנועת מצלמה בהתבסס על מסלולים מדויקים.
- שחזור תלת ממד וארבעה ממדים
בנייה מחדש של סצנות דינמיות באמצעות צילום מסונכרן מעשר נקודות מבט.
- הפקת וידאו רב ערוצי
סינתזה של זוויות צילום חדשות מאותו אירוע בזמן אמת.
איפה זה נופל
זהו מאגר סינתטי לחלוטין. למרות הרינדור המתקדם, קיים פער מובנה מול צילום של העולם האמיתי. כל הסצנות מבוססות על שילובים של 37 סביבות ו־66 דמויות בלבד, כך שהשונות הוויזואלית מוגבלת מאוד ויש חזרתיות בנכסים. קצב הפריימים נמוך יחסית, 15 לשנייה, והסרטונים קצרים מאוד, מעט מעל חמש שניות. אין כאן טקסט, אודיו, או דיבור בכל שפה שהיא.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון הוא apache-2.0, שמאפשר שימוש מסחרי חופשי. עליכם לכלול קרדיט ועותק של הרישיון המקורי בתוכנה או במוצר.
איך מחלצים את הקבצים אחרי ההורדה?
הנתונים נשמרים ב־19 חלקים נפרדים. יש לחבר אותם לקובץ tar.gz אחד באמצעות פקודת cat בטרמינל, ולאחר מכן לפתוח את הארכיון.
האם יש במאגר שפות או כתוביות בעברית?
לא. המאגר מורכב כולו מסרטונים סינתטיים ומסלולי מצלמה. אין בו ערוצי שמע, דיאלוגים או תיאורי טקסט בשום שפה.
במה המאגר הזה שונה ממאגרי וידאו רגילים?
הוא לא נאסף מהרשת אלא נוצר במנוע Unreal Engine 5. היתרון הוא סנכרון מושלם בין עשר זוויות שונות ומידע גיאומטרי מדויק על המצלמה לכל פריים.
איך טוענים
המאגר מחולק ל־19 קבצים מפוצלים בסיומות partaa עד partah ודומיהם, בגלל מגבלות גודל. מורידים את הקבצים באמצעות git-lfs, מאחדים אותם בפקודת cat לקובץ tar.gz יחיד, ורק אז מחלצים לדיסק. הגישה למאגר פתוחה לחלוטין וללא צורך באישור מראש. הנתונים כוללים את קובצי הווידאו עצמם לצד נתוני המצלמה, בהם אורך מוקד, מפתח צמצם וגודל חיישן של 23.76 מ"מ.
from datasets import load_dataset
ds = load_dataset("KlingTeam/MultiCamVideo-Dataset")הרישיון
הפרויקט מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי. אין חובה לשתף מודלים שתאמנו עליו תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים