dynpose-100k
קוד פתוחnvidiaother2025-04-18
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
המאגר מכיל נתוני מצלמה מדויקים עבור מאה אלף סרטוני רשת דינמיים ברזולוציית 720p. הוא מיועד למי שמאמן מודלים של ראייה ממוחשבת וצריך תנועות מצלמה מורכבות בעולם האמיתי.
- 328הורדות בחודש
- 57לייקים
מה זה
הנתונים מבוססים על מאה אלף קטעי וידאו מגוונים מהאינטרנט שנבחרו מתוך מאגר של 3.2 מיליון מועמדים. החוקרים סיננו את הקטעים כדי לוודא שניתן לשחזר מהם באופן מהימן את זוויות הצילום, הפרמטרים הפנימיים של המצלמה ומסלול התנועה שלה במרחב.
המאגר עצמו מחולק לשניים. החלק המרכזי כולל קובצי מטא דאטה עם כתובות URL להורדה וקובצי פוטו מפורטים של נתוני המצלמה בפורמט PKL. החלק השני הוא Lightspeed, סט בדיקה נפרד ששוקל 8.1 גיגה בייט ומכיל קובצי וידאו, פריימים ונתוני אמת של תנועת מצלמה שנבנו כדי לאמת את שיטת החישוב של המאגר הראשי.
מתאים ל
- הערכת תנוחת מצלמה בווידאו
אימון אלגוריתמים לחישוב מסלול תנועה של צילום בסרטונים שכוללים אובייקטים זזים.
- שחזור תלת ממד מסרטוני רשת
בניית גיאומטריה מרחבית מתוך קטעי וידאו רגילים שצולמו במצלמות נעות.
- אימות מודלים על Lightspeed
מדידת ביצועים של אלגוריתמי מעקב מצלמה מול ערכי אמת מדויקים בסט הבדיקה המצורף.
איפה זה נופל
הסרטונים עצמם מגיעים מהאינטרנט ואינם יושבים על השרת של אנבידיה. קישורים נשברים ברשת כל הזמן, כך שהורדה שתעשו בעוד שנה עלולה להניב פחות קטעים מזו שתעשו היום. בנוסף, נתוני המצלמה במאגר הראשי הם הערכות חישוביות של אלגוריתם ולא מדידות אמת פיזיות מחיישנים, למעט סט הבדיקה Lightspeed שמיועד רק לבקרה. התוכן מוגבל לרזולוציית 720p ופריימים בודדים בקצב של 12 תמונות בשנייה, מה שלא מתאים לעבודה שדורשת תנועה חלקה מאוד.
שאלות
נפוצות
האם המאגר כולל את קובצי הווידאו המלאים להורדה ישירה?
לא, המאגר הראשי מכיל רק את נתוני המצלמה בנפח של 0.7 גיגה בייט וקובץ קישורים. עליכם להוריד את הסרטונים עצמם מהאינטרנט באמצעות כלי חיצוני, תהליך שלוקח כמאתיים גיגה בייט נוספים. רק סט הבדיקה Lightspeed מגיע עם הווידאו המקורי בתוך קובץ הזיפ.
באילו מוסכמות וצירים מוגדרות המצלמות?
הנתונים משתמשים במוסכמת RDF של OpenCV, בדיוק כמו במערכת COLMAP. ציר האיקס פונה ימינה, ציר הוואי כלפי מטה, וציר ה־Z מצביע קדימה מנקודת המבט של התמונה. הפרמטרים מתארים את המעבר מנקודת מבט העולם אל המצלמה.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון מוגדר כרישיון של אנבידיה ולא כקוד פתוח סטנדרטי מסוג MIT או אפאצ'י. בדרך כלל רישיונות כאלה מיועדים למחקר אקדמי ולא לשימוש מסחרי, מה גם שהסרטונים עצמם שייכים ליוצרים ברשת. חובה לבדוק את קובץ LICENSE.md לפני שמתחילים בפיתוח.
האם יש במאגר טקסט או תמיכה בעברית?
המאגר מסומן כשפה אנגלית בלבד ומכיל כתוביות או תיאורים באנגלית לצד כתובות הווידאו. אין בו נתונים בעברית, אם כי עבור משימות של תנועת מצלמה וראייה ממוחשבת השפה הטקסטואלית אינה משחקת תפקיד מרכזי.
איך טוענים
טעינת המידע דורשת עבודה ידנית ולא פקודת טעינה פשוטה בספריית הדאטהסטים. מורידים את המאגר מגיטהאב או ישירות מהעמוד ופותחים את קובצי הזיפ. קובצי הנתונים של המצלמה שוקלים רק 0.7 גיגה בייט, אבל הווידאו עצמו אינו מאוחסן ישירות במאגר. אתם צריכים להריץ את הכלי video2dataset כדי להוריד כמאתיים גיגה בייט של קובצי MP4 מהרשת, ואז לחלץ פריימים בקצב של 12 לשנייה, פעולה שתתפוס לכם עוד כארבע מאות גיגה בייט בדיסק. המצלמות שמורות בפורמט עולם למצלמה לפי מוסכמות OpenCV.
from datasets import load_dataset
ds = load_dataset("nvidia/dynpose-100k")הרישיון
המאגר מופץ תחת רישיון ייעודי של אנבידיה המסומן כ־other בקובץ הרישיון. תנאים כאלה בדרך כלל מגבילים שימוש מסחרי ישיר ומיועדים למטרות מחקר. בנוסף, הווידאו עצמו נאסף מאתרים פומביים ברשת, ולכן זכויות היוצרים על חומרי הגלם שייכות ליוצרים המקוריים שלהם. לא הייתי בונה על אימון מודל מסחרי סגור בלי ייעוץ משפטי לגבי תנאי הקבצים.