WBench
קוד פתוחmeituan-longcatmit2026-05-22
מאגר לבדיקת מודלי עולם אינטראקטיביים בווידאו, שמתמקד באינטראקציות רב שלביות. הוא נועד למדוד עקביות וחוקי פיזיקה בין פקודה לפקודה ולא רק ליצור סרטון בודד.
- 2,004הורדות בחודש
- 25לייקים
מה זה
המאגר כולל 289 מקרי מבחן שמחולקים ל־1,058 תורות אינטראקציה שונים. כל מקרה מורכב מקובץ הגדרות בפורמט ג'ייסון, תמונת פריים ראשונה שממנה מתחילים, ובחלק מהמקרים יש גם מסכות סגמנטציה של האובייקטים המרכזיים.
המבנה הפנימי מחולק לשלוש תיקיות: תיקיית המקרים עם קובצי ההגדרות, ההוראות והתיוגים, תיקיית תמונות הפתיחה עבור כל אחד מ־289 המקרים, ותיקיית מסכות שכוללת 188 מסכות סגמנטציה. התוכן בודק ארבעה סוגי אינטראקציה: ניווט במרחב, פעולות של דמויות או אובייקטים, עריכת אירועים בסצנה ומעבר בין זוויות צילום מגוף ראשון וגוף שלישי.
הבדיקה מודדת את המודלים לפי 22 מדדים שמקובצים לחמישה תחומים: איכות הווידאו, היצמדות להגדרות הסצנה, היענות לאינטראקציה של המשתמש, עקביות חזותית בין תורות שונים, ושמירה על חוקי פיזיקה בסיסיים.
מתאים ל
- מבחן ביצועים למודלי וידאו
הרצת המודל על 289 המקרים כדי למדוד עקביות פיזיקלית ותגובה לפקודות רציפות.
- בדיקת שמירת זהות ועקביות
שימוש במסכות הסגמנטציה ובתמונות הראשונות לבדיקה אם מודל שומר על יציבות של אובייקט לאורך זמן.
- השוואת ביצועים מול מתחרים
הערכת תוצאות המודל שלכם ישירות מול נתוני לוח התוצאות הרשמי שמופיע במחקר.
איפה זה נופל
זהו כלי הערכה ולא מאגר לאימון. 289 מקרים זה נפח קטן מאוד שלא יספיק ללימוד תבניות חדשות, אלא רק למבחן השוואתי. בנוסף, כל הטקסטים וההוראות כתובים באנגלית בלבד. אם המערכת שלכם אמורה לקבל פקודות בשפות אחרות, תצטרכו לתרגם את ההוראות בעצמכם או לבנות סט מקרים מקומי.
שאלות
נפוצות
האם אפשר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון MIT מתיר שימוש מסחרי מלא ללא תשלום או הגבלות מיוחדות. צריך רק להקפיד לצרף את נוסח הרישיון המקורי ואת הודעת זכויות היוצרים.
האם יש במאגר תמיכה בעברית?
לא, כל הפקודות והתיוגים בקובצי הג'ייסון נכתבו באנגלית בלבד. אם תרצו לבחון מודל על פקודות בעברית, תצטרכו לתרגם את הטקסטים של מקרי המבחן בעצמכם.
האם המאגר מתאים לאימון מודל וידאו חדש?
לא, מדובר בבנצ'מרק שמכיל 289 מקרי מבחן בלבד. הכמות הזו מיועדת לבדיקה והערכה של תוצאות מודל קיים, ולא לאימון משקלים מאפס.
איך טוענים
מורידים את הנתונים ישירות דרך כלי שורת הפקודה של הגרסאות ללא צורך באישור גישה מוקדם, באמצעות פקודת ההורדה של huggingface-cli. הקבצים יושבים במבנה תיקיות פשוט של קובצי ג'ייסון ותמונות, ללא קובצי דאטהסט מורכבים. בתוך קובצי המקרים נמצאים הפרומפטים וההוראות לכל שלב, ואותם מעבירים למודל הווידאו יחד עם תמונת הפתיחה התואמת כדי לייצר את הסרטונים המשורשרים.
from datasets import load_dataset
ds = load_dataset("meituan-longcat/WBench")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון הזה מתיר שימוש חופשי כמעט לחלוטין, כולל שימוש מסחרי, שינוי של הקבצים ושילובם בכלים פנימיים או חיצוניים. הדרישה היחידה היא לשמור על הודעת זכויות היוצרים ונוסח הרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש