jat-dataset-tokenized
קוד פתוחjat-projectרישיון לא דווח2023-12-16
מאגר נתוני למידת חיזוק שמכיל טרנספורמציות וריצות של משחקי אטארי בייצוג של רצפים. הוא מיועד למי שרוצה לאמן מודלי שפה או Decision Transformer על משימות שליטה ומדיניות ישירות מהתצפיות.
- 471,038הורדות בחודש
- 24לייקים
מה זה
המאגר מחולק לתצורות רבות לפי משחקי אטארי שונים, כמו Alien, Pong, Breakout ו־Space Invaders. כל רשומה מייצגת רצף צעדים במשחק הכולל סדרות של תצפיות ויזואליות כטנזורים, פעולות בדידות, תגמולים, מסכות קשב ומשקלי שגיאה.
הנתונים כבר עברו עיבוד מקדים לחלוקה לרצפים, כך שהם מוכנים ישירות לאימון מודלים מבוססי טרנספורמר בלי צורך בבנייה ידנית של חיבורי מצב-פעולה. כל תצורה מפוצלת מראש לסט אימון של כארבע עשרה אלף דוגמאות וסט בדיקה של כאלף וחמש מאות דוגמאות בממוצע.
התיעוד במאגר אינו מפרט מאיזה סוכן או אלגוריתם נאספו מסלולי המשחק, מה הייתה רמת המומחיות של השחקן שיצר אותם, או האם בוצע סינון של ריצות חלשות.
מתאים ל
- אימון Decision Transformer
אימון מודלי רצף להתנהגות במשחקים ישירות מתוך נתוני תצפית, פעולה ותגמול מוכנים.
- בנצ׳מרק ללמידת חיזוק לא מקוונת
הערכת אלגוריתמים של Offline RL על סביבות משחק מגוונות ללא צורך בהרצת אמולטור בזמן אמת.
- מחקר על ייצוגי פעולה ותמונה
בדיקת יכולת המודל ללמוד קשרים בין רצפי פריימים לתגמולים עתידיים.
איפה זה נופל
אין כאן טקסט, שיחה או עברית, הנתונים הם טוקנים נומריים של משחקי וידאו בלבד. מעבר לכך, כרטיס המאגר ריק לחלוטין מפרטים מהותיים. אינכם יודעים אם הסוכן שיצר את הנתונים הוא מקצועי, אקראי, או בינוני, מה שהופך אימון חיקוי לעיוור לחלוטין.
בנוסף, הנתונים מוגבלים לחלוטין למרחבי הפעולה והפיקסלים של קונסולת אטארי ואינם כוללים משימות רובוטיקה או שפה אמיתית. אם המודל שלכם מיועד לעולם האמיתי, הנתונים האלה לא יעזרו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ בכלל. למאגר לא הוצמד רישיון רשמי, והוא מבוסס על צילומי משחקים של אטארי. בהיעדר תנאי שימוש מפורשים, שימוש מסחרי חושף אתכם לסיכוני זכויות יוצרים.
כמה נפח אחסון נדרש כדי לעבוד איתו?
המאגר כולו מכיל 11,137 קבצים ונפח עצום של עשרות טרה-בייט. גם תצורת משחק בודדת תופסת כמה מאות מגה-בייט להורדה אך מתרחבת ליותר מ־55 גיגה-בייט בזיכרון, לכן מומלץ לעבוד עם דגימות או בהזרמה.
האם יש במאגר תמיכה בעברית או טקסט כלשהו?
לא. המאגר מורכב כולו מרצפי תמונות, מספרי פעולות ותגמולים מסביבות אטארי, ללא שום נתוני טקסט בשום שפה.
איך נאספו הנתונים והאם הם איכותיים?
יוצרי המאגר לא פירטו כיצד הנתונים הוקלטו או באיזה מודל השתמשו לייצורם. לא ידוע האם מדובר בריצות של שחקן מושלם או אקראי, ולכן יש לבחון את התגמולים בעצמכם לפני האימון.
איך טוענים
הטעינה נעשית בקלות דרך מודול datasets על ידי ציון תצורת המשחק הרצויה, למשל atari-pong. המאגר פתוח לחלוטין ואינו דורש אישור גישה מראש. השדות הקריטיים הם תצפיות התמונה ברמת float32 לצד הפעולות הבדידות והתגמולים.
הקבצים שמורים בפורמט Parquet, אך שימו לב לנפח. כל קונפיגורציה בודדת שוקלת מאות מגה-בייט בהורדה, אך נפרסת לכ־55 עד 59 גיגה-בייט בזיכרון עקב מערכי התמונות. אל תנסו למשוך את כל 11,137 הקבצים בבת אחת, אלא עבדו בהזרמה או לפי משחק בודד.
from datasets import load_dataset
ds = load_dataset("jat-project/jat-dataset-tokenized")הרישיון
היוצרים לא הגדירו רישיון כלל במאגר. לפי החוק היבש, מאגר ללא רישיון אינו מעניק הרשאה להעתקה, הפצה או שימוש מסחרי, ומשחקי אטארי עצמם מוגנים בזכויות יוצרים. מבחינה משפטית, אימון מודל עלול לחשוף אתכם לסיכון, ולכן החומר מתאים למחקר אקדמי בלבד ולא למוצר מסחרי.