World-Model

מה זה

המאגר כולל 100 תרחישים בלבד בפורמט JSONL, שמיועדים לבחון את המודל שלכם לפי 10 קטגוריות שונות. הקטגוריות מחולקות לשלושה צירים עיקריים: תפיסה ששווה 250 נקודות, קוגניציה שמהווה את עיקר הניקוד עם 450 נקודות, והתגלמות פיזית ששווה 300 נקודות מתוך ציון מרבי של 1000.

במקום למדוד איכות תמונה או וידאו כמו מדדי FID ו־FVD, כל רשומה מעבירה למודל תיאור סביבה בפורמט JSON. המודל מחזיר חיזוי סכנות והחלטת תנועה מתאימה, כמו בריחה ממכשול או תגובה לאיום. הכרטיס לא מציין מאיזה מקור נאספו הנתונים במקור או איך הם סוננו, מעבר לכך שהם כוללים תשובות ייחוס שמולן נבדקת התוצאה.

מתאים ל

• הערכת קבלת החלטות בסוכנים

  בדיקת יכולת המודל לזהות סכנות ולהגיב אליהן בתרחישי טקסט מוגדרים מראש.

• בחינת מודלי עולם ללא תלת-ממד

  מדידת ביצועים קוגניטיביים של מודלים דרך קריאות API ישירות בפורמט JSON.

• בדיקת הסלמת רגש ותגובה לאיום

  הערכת התנהגות המודל במצבי לחץ והתאוששות לאחר חשיפה לסכנה בתרחיש.

איפה זה נופל

זה לא מאגר שמתאים לאימון מודלים אלא כלי הערכה מצומצם מאוד עם 100 תרחישים בלבד. הנתונים קיימים באנגלית ובקוריאנית, כך שאין תמיכה ישירה בעברית ואי אפשר לבדוק בעזרתו התנהגות שפתית מקומית. בנוסף, כל המבחן מבוסס על ממשק טקסט בלבד, מה שאומר שהוא בודק היגיון תיאורטי ולא שליטה אמיתית במנוע פיזיקלי או בעולם תלת-ממדי חי.

איך טוענים

טוענים את הקבצים ישירות באמצעות git clone ממאגר הדאטהסט. המאגר קטן מאוד, מכיל 15 קבצים ופחות מאלף רשומות, כך שאין צורך באישור גישה או בהמתנה להורדות כבדות. בתוך התיקייה תמצאו את הקובץ wm_bench.jsonl יחד עם סקריפטי פייתון דוגמת example_submission.py, מנוע הניקוד והרצת ההערכה. המערכת מקבלת קלט JSON של הקשר הסביבה ומצפה לפלט טקסטואלי שמגדיר חיזוי סכנות ותנועה.

from datasets import load_dataset

ds = load_dataset("FINAL-Bench/World-Model")

הרישיון

המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש חופשי, כולל שימוש מסחרי, שינוי והפצה של הקוד והנתונים, בתנאי ששומרים על הודעת זכויות היוצרים והייחוס למפתחים המקוריים. אין דרישה להפיץ עבודות נגזרות או מודלים שנבדקו תחת אותו הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗