MMEB-V2

מה זה

המאגר כולל בין מיליון לעשרה מיליון רשומות שמחולקות למשימות תמונה ומשימות וידאו. בתוך התמונות תמצאו את החלקים של הגרסה הראשונה לצד משימות שליפת מסמכים ויזואליים, ובגזרת הווידאו יש קובצי JSONL ומסגרות דגומות מתוך סטים מוכרים כמו ActivityNetQA, Breakfast, Charades ו־HMDB51.

במקום להחזיק רק טקסט, המבנה מבוסס על קובצי ארכיון דחוסים לפי משימות על: סיווג וידאו, מענה על שאלות מתוך וידאו, שליפת וידאו ושליפת רגעים ספציפיים. הדאטהסט לא מציג את תהליך הסינון או הניקוי של המקורות בתוך הכרטיס, אלא אורז יחד חומרים קיימים ממחקרים שונים כדי לאפשר הרצה של בנצ׳מרק רחב.

מתאים ל

• הערכת חיפוש בווידאו

  בדיקת ביצועים של מודלי אמבדינג בשליפת קטעי וידאו לפי תיאור טקסטואלי.

• שליפת מסמכים ויזואליים

  השוואת מודלים במשימות חיפוש מבוסס תמונה של מסמכים וגרפים.

• אימון מודלי שיבוץ

  שימוש בתמונות ובפריימים כדי לאמן ייצוגים וקטוריים משותפים לתמונה וטקסט.

איפה זה נופל

הנתונים מוגבלים לחלוטין לשפה האנגלית, כך שאם המוצר שלכם פונה לקהל ישראלי בעברית תצטרכו לתרגם או לאסוף חומרים בעצמכם. בנוסף, המאגר מספק פריימים דגומים מראש ולא את קובצי הווידאו הגולמיים, מה שמגביל מודלים שזקוקים למידע קולי או לתנועה רציפה לחלוטין. הכרטיס גם לא מפרט אילו הטיות קיימות בנתונים המקוריים שנאספו ממקורות שונים ברשת.

איך טוענים

הגישה למאגר פתוחה ללא צורך באישור, אבל אי אפשר פשוט לטעון אותו בשורה אחת דרך הספרייה הרגילה. מורידים ידנית שישה קובצי ארכיון גדולים מסוג tar.gz של פריימים ותמונות באמצעות Git LFS או wget, מחלצים אותם מקומית, ומגדירים את הנתיבים בקוד הבדיקה. קובצי הבדיקה והשאלות עצמם נמשכים ישירות מקובצי JSONL ודפי Hugging Face נפרדים בזמן ההרצה.

from datasets import load_dataset

ds = load_dataset("TIGER-Lab/MMEB-V2")

הרישיון

המאגר מופץ תחת רישיון Apache 2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הנתונים ואימון מודלים ללא דרישה לשתף את הקוד שלכם באותו רישיון. החובה היחידה היא לתת קרדיט ליוצרים המקוריים ולצרף עותק של הרישיון והודעות זכויות היוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗