NitroGen
קוד פתוחnvidiaother2025-12-18
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
תיוגי פעולות שלט עבור סרטוני משחקים פומביים שנועדו לאימון סוכנים אוטונומיים. הפתרון מיועד למי שרוצה למפות בין מה שרואים על המסך לבין לחיצות כפתור אמיתיות.
- 1.8 GBמשקל הקבצים
- 1,088הורדות בחודש
- 221לייקים
מה זה
המאגר כולל סדרה של קובצי ארכיון שמכילים תיוגים לכשלושים אלף סרטוני גיימינג, עם כמות שמגיעה לבערך 15 מיליארד פריימים. המידע מחולק למקטעים של עשרים שניות לכל סרטון. כל תיקיית מקטע כזו מחזיקה קובץ מטא-דאטה בפורמט JSON עם חותמות זמן, אורך וכתובת הסרטון המקורי, לצד טבלאות Parquet של הפעולות עצמן.
השורות בטבלאות מתארות את מצב השלט בכל פריים בודד. יש בהן 17 עמודות בוליאניות לכפתורים רגילים כמו החצים, ההדקים וכפתורי הפעולה, ועוד שתי עמודות לג'ויסטיקים עם ערכי צירים רציפים בין מינוס אחת לאחת. המקור הוא סרטונים פומביים, אבל התיוג עצמו נוצר באופן אוטומטי לחלוטין באמצעות מודל פנימי של אנבידיה שחזה מה השחקן עשה בכל רגע.
מתאים ל
- אימון סוכני משחק
לימוד מדיניות של חיקוי התנהגות שמתרגמת את תמונת המשחק לפעולות שלט בזמן אמת.
- בניית מודלי עולם
אימון מודלים שמקבלים רצף פעולות שלט וחוצים איך הפריים הבא במשחק צריך להיראות.
- מחקר על תיוג סינתטי
בדיקת היעילות והדיוק של מודלים שמחלצים פעולות מתוך סרטוני וידאו פסיביים ללא חיישנים.
איפה זה נופל
הבעיה המרכזית היא שהתיוגים הם סינתטיים. מודל ניחש את לחיצות השלט ולא שחקנים אנושיים שחיברו בקר פיזי עם לוגר, כך שיש פה שגיאות מובנות בחיזוי. בנוסף, מי שרוצה לשחזר את התוצאות מהמאמר של אנבידיה יצטרך ליישם בעצמו סינונים מורכבים נוספים שלא נמצאים בקבצים הגולמיים, כמו ניקוי פריימים שבהם הדמות עומדת ללא תנועה. אם בניתם על עברית, אין כאן שום מידע טקסטואלי רלוונטי, וההסתמכות על קישורי וידאו חיצוניים אומרת שחלק מהמקורות עלולים להיעלם מהרשת עם הזמן.
שאלות
נפוצות
האם מותר להשתמש במאגר כדי לאמן מודל למוצר מסחרי?
לא. הרישיון הוא לא-מסחרי לחלוטין תחת תנאי CC BY-NC 4.0. הוא מיועד אך ורק למחקר ופיתוח, כך שכל יישום שמניב רווח או נמכר כחלק מפעילות עסקית מפר את תנאי השימוש.
האם קובצי הווידאו עצמם נמצאים בתוך ההורדה?
לא, המאגר מכיל רק את תיוגי השלט הטבלאיים בקובצי Parquet ואת קובצי המטא-דאטה. כדי לקבל את הפריימים של המשחק תצטרכו להוריד את הסרטונים הפומביים באופן עצמאי באמצעות הקישורים וחותמות הזמן שמצורפים ב־JSON.
איך נוצרו התיוגים של השלט עבור כל פריים?
התיוג לא הוקלט מבקרים פיזיים בזמן אמת אלא נוצר בצורה סינתטית ואוטומטית. אנבידיה השתמשה במודל ראייה ממוחשבת פנימי שלה, שצפה בסרטונים וחישב לפיהם אילו כפתורים וצירי ג'ויסטיק הופעלו בכל רגע.
האם יש במאגר תמיכה בשפה העברית?
אין שום רלוונטיות לשפות במאגר הזה. הנתונים מורכבים אך ורק ממזהי סרטונים, חותמות זמן ומערכים מספריים ובוליאניים של מקשי שלט סטנדרטיים.
איך מריצים
ההורדה מתבצעת ישירות מ־102 הקבצים במאגר, שמחולקים לארכיוני tar.gz לפי מקטעים שנקראים שארדים. אין צורך בטופס בקשת גישה מיוחד כדי להוריד אותם. בפנים מחכים לכם קובצי actions_raw.parquet ובחלק מהמקרים actions_processed.parquet שעברו סינון ראשוני והתאמות. חשוב להבין שהדאטהסט לא כולל את הפיקסלים של הווידאו עצמו, אלא רק את הנתונים הטבלאיים והקישורים למקורות, כך שתצטרכו להוריד ולסנכרן את הווידאו בעצמכם מול חותמות הזמן.
pip install -U huggingface_hub hf download nvidia/NitroGen
הקבצים
8 קבצים במאגר, 1.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא CC BY-NC 4.0. המשמעות ברורה וחדה, השימוש מותר למטרות מחקר ופיתוח אקדמי או פנימי בלבד, ואסור לכל שימוש מסחרי. חובה לתת קרדיט מלא ליוצרים, ואם אתם מתכננים לאמן מודל לצורך מוצר מסחרי שיימכר ללקוחות, הרישיון הזה חוסם אתכם לחלוטין.