Syn4D
קוד פתוחSyn4Dcc-by-4.02026-06-21
מאגר סינתטי של וידאו מרובה זוויות בתוספת עומק, מסכות ומעקב גיאומטרי בארבעה ממדים. הוא מיועד למי שבונה מודלים לשחזור תנועה או גיאומטריה וצריך אמת קרקע מושלמת שאי אפשר להוציא מצילום אמיתי.
- 363,228הורדות בחודש
- 21לייקים
מה זה
המאגר מציע סצנות סינתטיות שכוללות וידאו RGB ממספר מצלמות במקביל, מפות עומק, מסכות סגמנטציה וגיאומטריית מעקב לאורך זמן. החלוקה הראשית מבוססת על צפיפות דגימת הפריימים, עם תיקיית stride 1 שבה כל פריים יכול לשמש כנקודת ייחוס למעקב, ותיקיית stride 5 שבה הדגימה נעשית כל חמישה פריימים. יש גם תיקיית קבצים מצורפים לסצנות, ותת-מאגר סימולציה בסגנון Kubric באותו מבנה נתונים.
התוכן נבנה מנכסים תלת ממדיים וכולל קובץ מיפוי בשם sequence_to_asset_mapping.csv שמשייך כל רצף לנכסים שמהם נוצר, לצד מטא-דאטה של משקלים ועצמות תחת תיקיית המטא-דאטה הייעודית. המידע אינו מכיל נתונים מעובדים של BEDLAM2 בגלל מגבלות רישוי של אותו פרויקט, ולכן היוצרים צירפו סקריפטים שממירים את קובצי התנועה של SMPL-X באופן עצמאי.
מתאים ל
- אימון שחזור תלת ממדי
למידת עומק ומבנה מרחבי מרובה מצלמות באמצעות נתוני ה־RGB והעומק המדויקים.
- מעקב גיאומטרי בזמן
פיתוח אלגוריתמים למעקב 4D לאורך פריימים רציפים בעזרת חלוקות ה־stride השונות.
- שחזור תנועת גוף
הערכת תנוחת גוף וגיאומטריה בעזרת קובצי התנועה של SMPL-X והסקריפטים הייעודיים.
איפה זה נופל
מדובר במידע סינתטי בלבד, מה שאומר שקיים פער מובנה מול צילומי וידאו מהעולם האמיתי, במיוחד בתאורה מורכבת, רעשי חיישן וארטיפקטים של דחיסה. אין כאן טקסט, שפות או תוכן מקומי בעברית. בנוסף, הוא לא מגיע מוכן לחלוטין לחלק ממשימות שחזור הגוף, ותלוי בהורדה חיצונית ועיבוד כבד של נתוני צד שלישי כדי להשלים את התמונה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הדאטהסט עצמו מוגדר ברישיון cc-by-4.0 שמתיר שימוש מסחרי מלא עם מתן קרדיט. יחד עם זאת, יש במאגר התייחסות לנכסי צד שלישי שמופיעים בקובץ THIRD_PARTY_NOTICES.md, ואם בוחרים להוריד ולשלב את נתוני BEDLAM2 לפי ההנחיות, חלים עליהם תנאי הרישיון המקוריים שלהם.
איך המידע שמור ואיך פותחים את הקבצים בפועל?
הקבצים ארוזים בפורמט safetensors לווקטורים ולמשקלים ובווידאו MP4 לתצוגה, ומקובצים בארכיוני tar דחוסים ב־zstandard. כדי לפתוח אותם יש להשתמש בפקודת tar עם דגל מתאים לתוכנת unzstd. סקריפטי הפייתון המצורפים כוללים קובצי requirements.txt ייעודיים לתצוגה ולהמרה.
האם יש במאגר נתונים בעברית או טקסט כלשהו?
לא. המאגר הוא מאגר חזותי וגיאומטרי שמכיל קובצי וידאו, גיאומטריה, עומק ומטא-דאטה של שלדים ותנועה. אין בו רכיב טקסטואלי, שפה טבעית או רלוונטיות לשפה העברית.
מאיפה הגיעו הנתונים ומה מקורם?
כל הנתונים נוצרו בסימולציה ממוחשבת ולא נאספו מצילומים אמיתיים. החלקים כוללים סצנות סינתטיות עם מיפוי לנכסי מקור, סימולציות פיזיקליות בסגנון מנוע Kubric, ומבני תנועה של שלדי SMPL-X שמיועדים להמרה מסביבת BEDLAM2.
איך טוענים
ההורדה נעשית דרך Git LFS ישירות מהמאגר, שכולל 39,353 קבצים. הסצנות נארזו כארכיוני tar.zst, כך שצריך להתקין כלי פריסה שתומך ב־zstandard כמו zstd או unzstd לפני שפותחים אותן לתוך התיקיות. הנתונים עצמם מגיעים בפורמטים של safetensors וקובצי וידאו בפורמט MP4. אם אתם צריכים שחזור גוף מלא מבוסס BEDLAM2, תצטרכו להוריד את המקור בנפרד ולהריץ את סקריפטי ההמרה המצורפים בפייתון, תהליך שדורש כוח עיבוד משמעותי מהמעבד.
from datasets import load_dataset
ds = load_dataset("Syn4D/Syn4D")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0 שמתיר שימוש מסחרי, שינוי והפצה של המידע, כל עוד נותנים קרדיט מתאים ליוצרים. במאגר מופיע גם קובץ רישיון ODC-BY-1.0 ופירוט תנאים של נכסי צד שלישי בקובץ ההודעות. מותר לאמן מודלים מסחריים על הדאטהסט, אך יש לשים לב שאם משלבים בו את נתוני BEDLAM2 החיצוניים, הרישיון שלהם עשוי להטיל מגבלות משלו.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס