SynCamVideo-Dataset
קוד פתוחKlingTeamapache-2.02024-12-09
המאגר כולל סרטוני וידאו מסונכרנים שרונדרו ממספר מצלמות במקביל עם זוויות מדויקות. הוא מיועד למי שמפתח מודלים של יצירת וידאו מבוקר מצלמה או שחזור תלת ממדי.
- 365הורדות בחודש
- 37לייקים
מה זה
הנתונים מורכבים מ־3,400 סצינות דינמיות שרונדרו במנוע Unreal Engine 5. כל סצינה צולמה בעשר מצלמות סטטיות שנדגמו על פני חצי כדור סביב דמות מרכזית, מה שמייצר סך הכל 34,000 סרטונים. כל קטע וידאו מגיע ברזולוציה ריבועית של 1280 על 1280 פיקסלים, באורך של 81 פריימים ובקצב של 15 פריימים לשנייה.
הסצינות נבנו משילוב של 37 סביבות תלת ממדיות שנלקחו מפלטפורמת Fab, בעיקר סביבות ריאליסטיות עירוניות ומשרדיות עם מעט סגנונות סוריאליסטיים. בתוך הסביבות האלה שולבו 66 מודלים של דמויות אנושיות מ־Fab ומ־Mixamo, שהונפשו באמצעות 93 קטעי אנימציה מוכנים כמו ריקוד, נפנוף לשלום או עידוד.
המבנה מחולק לתיקיית אימון המכילה את כל 3,400 הסצינות, ותיקיית ולידציה בסיסית. לצד קובצי הווידאו cam01 עד cam10 בכל סצינה, מצורף קובץ json עם נתוני המיקום והזווית החיצוניים של כל מצלמה עבור כל 81 הפריימים.
מתאים ל
- יצירת וידאו מבוקר מצלמה
אימון מודלים גנרטיביים לייצר סרטונים לפי זוויות צילום ונתוני מצלמה מוגדרים מראש.
- שחזור תלת ממד וארבעה ממדים
בניית מודלים של סצינות דינמיות ודמויות בתנועה על בסיס צילום מסונכרן מכמה זוויות בו זמנית.
- סינכרון וידאו רב מצלמתי
פיתוח אלגוריתמים לתיאום נקודות מבט שונות של אותו אירוע בזמן אמת.
איפה זה נופל
כל החומרים בדאטהסט הם סינתטיים לחלוטין ומבוססים על מנוע משחק, כך שקיים פער מובנה מול צילומי וידאו מהעולם האמיתי. בנוסף, המצלמות בסצינות מקובעות לחלוטין במקום. אם אתם צריכים תנועת מצלמה בזמן הצילום, הדאטהסט הזה לא מתאים ותצטרכו לפנות למאגר האחר של הצוות. יש גם מגבלה של מגוון, שכן כל 34,000 הסרטונים מבוססים על שילובים חוזרים של בסך הכל 66 דמויות, 93 אנימציות ו־37 סביבות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מודלים מסחריים?
כן. הרישיון הוא apache-2.0, שמתיר שימוש מסחרי מלא כולל אימון מודלים. החובה היחידה היא לשמר את ייחוס היוצרים ואת תנאי הרישיון בהפצה.
האם המצלמות בסרטונים זזות?
לא. כל המצלמות במאגר הזה נייחות ומקובעות בזוויות שונות מסביב לדמות. המפתחים מציינים שאם דרושה תנועת מצלמה דינמית, יש להשתמש במאגר MultiCamVideo שלהם.
האם יש במאגר תוכן או טקסט בעברית?
לא. מדובר במאגר של סרטונים ואנימציות תלת ממדיות בלבד. קובצי התיעוד והנתונים הטכניים מוגדרים באנגלית, ללא טקסט או שמע בשפות אחרות.
איך נאספו ונוצרו הנתונים?
הסצינות לא צולמו במציאות אלא רונדרו במנוע Unreal Engine 5. הצוות שילב 37 סביבות ו־66 דמויות מפלטפורמות Fab ו־Mixamo עם 93 אנימציות תנועה, ורינדר אותן במקביל מעשר מצלמות וירטואליות.
איך טוענים
המאגר פתוח להורדה ישירה ללא צורך באישור גישה. כל המידע ארוז בקובץ דחוס יחיד בשם SynCamVideo-Dataset.tar.gz שצריך לפתוח מקומית. לצד הווידאו, המאגר מספק סקריפט פייתון בשם vis_cam.py להצגת נתוני המצלמות. השדות המרכזיים שמעניינים אתכם הם קובצי הווידאו בפורמט mp4 וקובצי המצלמות camera_extrinsics.json שמכילים את המטריצות המדויקות לכל פריים. הגדרות העדשה קבועות לכל המצלמות באורך מוקד 24 מ״מ ומפתח צמצם 5.0.
from datasets import load_dataset
ds = load_dataset("KlingTeam/SynCamVideo-Dataset")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון מאפשר שימוש מסחרי ומחקר חופשי, כולל אימון מודלים, שינוי הקוד והפצה מחדש, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי. אין חובת שיתוף של מודלים או נגזרות תחת אותו רישיון בדיוק.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים