GameFactory-Dataset
קוד פתוחKlingTeamרישיון לא דווח2025-01-11
שבעים שעות של משחקיות מיינקראפט עם תיעוד פעולות מקלדת ועכבר ברמת הפריים ותיאורי טקסט. המאגר מיועד לאימון מודלים שמייצרים וידאו אינטראקטיבי שנשלט ישירות על ידי פקודות שחקן.
- 578הורדות בחודש
- 24לייקים
מה זה
המאגר כולל יותר מ־2,000 סרטוני וידאו קצרים בפורמט MP4, שכל אחד מהם מכיל בדיוק 2,000 פריימים. הנתונים הוקלטו בסביבת מיינקראפט באמצעות סקריפטים שהריצו רצפי פעולות אקראיים כדי לייצר שילובים לא שגרתיים. כל סרטון מתועד בקובץ JSON מקביל המפרט לכל פריים את מקשי התנועה, מקשים מיוחדים כמו קפיצה או ריצה, זוויות מצלמה, שינויי זווית ומיקום תלת-ממדי בעולם. בנוסף, קובץ טבלאי מרכז תיאור טקסטואלי לכל מקטע, שנוצר באמצעות מודל השפה הרב-מודלי MiniCPM-V.
התוכן מחולק לשני מקורות עיקריים. החלק הראשון מכיל שילוב מלא של לחיצות מקלדת ותזוזות עכבר על פני מגוון רחב של סביבות. החלק השני בנוי באופן זהה אך כולל אך ורק פקודות מקלדת ללא תנועות עכבר. הדגימות נאספו תחת תנאים מוגדרים מראש שכללו שלושה ביומים של יער, מישור ומדבר, שלושה מצבי מזג אוויר, ושש שעות שונות לאורך היממה הווירטואלית.
מתאים ל
- אימון מודלי וידאו מבוקרי פעולה
לימוד מודלים יוצרים להגיב לפקודות מקלדת ועכבר בזמן אמת ולייצר את הפריים הבא במשחק בהתאם לתנועת השחקן.
- הבנת סביבה מבוססת ראייה
אימון סוכנים אוטונומיים לחזות התנגשויות במכשולים ולהבין מגבלות פיזיקליות של תנועה במרחב תלת-ממדי.
- יצירת תוכן וידאו מטקסט ופעולה
שילוב תיאורי שפה יחד עם פקודות שליטה כדי לחולל הדמיות משחקיות מותאמות אישית בסביבות פתוחות.
איפה זה נופל
כל התוכן מבוסס על מנוע המשחק של מיינקראפט, כך שהפיזיקה, התאורה והמראה הוויזואלי מוגבלים לחלוטין לעולם הקוביות ולא ייצגו תנועה בעולם האמיתי או במשחקים ריאליסטיים. תיאורי הווידאו נוצרו במלואם על ידי מודל בינה מלאכותית ולא עברו תיקוף אנושי, מה שעלול להכניס הזיות ואי-דיוקים בתיאור הסצנה. בנוסף, כל התיאורים כתובים באנגלית בלבד ללא שום תמיכה בשפות אחרות. רצפי הפעולות נוצרו באופן סינתטי ואקראי, מה שמייצר קפיצות לא טבעיות באוויר והתנגשויות בלתי פוסקות בעצמים, בעיה שהיוצרים מציעים לפתור באמצעות סקריפט סינון חיצוני.
שאלות
נפוצות
האם המאגר מתאים לשימוש מסחרי?
הכרטיס לא מציין רישיון שימוש כלל, ולכן אין היתר חוקי להשתמש בו למוצרים מסחריים. בנוסף, הסרטונים מוקלטים מתוך המשחק מיינקראפט של חברת מיקרוסופט, מה שמעמיד בסימן שאלה שימוש כזה ללא אישור מתאים.
האם הנתונים כוללים תמיכה בעברית?
לא. כל התיאורים הטקסטואליים של הסרטונים נוצרו באנגלית באמצעות מודל MiniCPM-V. שמות המשתנים, התוויות והתיעוד בקובצי ה־JSON מנוסחים באנגלית בלבד.
איך נאספו הנתונים והפעולות?
החוקרים הריצו בוטים בתוך מיינקראפט שביצעו רצפי פקודות אקראיים כדי לכסות צירופי מקשים נדירים. במקביל להקלטת המסך, המערכת תיעדה לקובצי JSON את מצב המקלדת, תנועת העכבר והמיקום של השחקן בכל פריים.
מה ההבדל בין שני חלקי הנתונים במאגר?
החלק הראשי כולל נתונים מלאים של לחיצות מקלדת יחד עם שינויי זוויות מבט מהעכבר. לעומת זאת, החלק המשני מכיל רק תיעוד של מקשי המקלדת ללא שינויי זווית המצלמה.
איך טוענים
ההורדה מתבצעת ישירות ממאגר הקבצים של HuggingFace ללא צורך באישור גישה. החלק הראשון מפוצל לשישה קבצים דחוסים שיש לאחד באמצעות פקודת שרשור בקונסולה לפני החילוץ, ואילו החלק השני מגיע כקובץ זיפ רגיל. למטרות בדיקה ראשונית קיים קובץ דגימה קטן המכיל חמישה סרטונים בלבד. הנתונים החשובים ביותר לאימון נמצאים במילון הפעולות בתוך קובצי ה־JSON, כאשר ערכי שינוי הזווית של המצלמה דורשים הכפלה ב־15 כדי להמירם למעלות, והפריים הראשון בכל מקטע אינו מכיל נתוני תנועה ויש להתעלם ממנו.
from datasets import load_dataset
ds = load_dataset("KlingTeam/GameFactory-Dataset")הרישיון
החוקרים לא ציינו רישיון שימוש בעמוד המאגר. מבחינה מעשית ומחקרית, היעדר רישיון אומר שאין הרשאה מפורשת להשתמש במידע, להפיץ אותו או לבסס עליו פיתוח מסחרי. מעבר לכך, כלל הנתונים נלכדו מתוך המשחק המסחרי מיינקראפט, מה שיוצר סיכון של הפרת זכויות יוצרים מול בעלי המשחק. אם אתם בונים מודל שמיועד לשירות מסחרי או למוצר אמיתי, לא הייתי נוגע במאגר הזה עד להבהרה משפטית רשמית.