ViRL39K
קוד פתוחTIGER-Labmit2025-04-21
מאגר של 38,870 שאלות ותשובות מבוססות תמונה שנועדו לאימון למידת חיזוק. הוא נבנה כדי לאמן מודלים להסיק מסקנות ויזואליות עם תשובות סופיות שניתן לבדוק באופן אוטומטי.
- 1,241הורדות בחודש
- 41לייקים
מה זה
הנתונים כוללים שאלות ותשובות שמשלבות תמונה וטקסט בשמונה קטגוריות מרכזיות, החל מבעיות ברמת בית ספר יסודי ועד תחומי מדעים, חברה, ניתוח גרפים, דיאגרמות, טבלאות, מסמכים והבנה מרחבית. כל תשובה במאגר מופיעה בפורמט קבוע בתוך תגית ייעודית, במטרה לאפשר בדיקה מבוססת חוקים ללא צורך בהתערבות ידנית.
חלק מהשאלות נאסף מחדש וחלק הגיע ממאגרים קיימים כמו Llava-OneVision, R1-OneVision, MM-Eureka, MM-Math, M3CoT, DeepScaleR ו־MV-Math. צוות הפיתוח ניקה את הנתונים, שינה ניסוחים, התאים את הפורמט וסינן שאלות בעייתיות או כאלה שלא ניתן לאמת אוטומטית לפי כללים קשיחים.
מתאים ל
- אימון מודלים ב־RL
אימון שלבי חיזוק במודלי ראייה-שפה בעזרת בדיקה אוטומטית של תשובות מתמטיות וויזואליות.
- הערכת ביצועי מולטי-מודל
בדיקת יכולות הסקת מסקנות מתרשימים, מסמכים ובעיות מרחביות לפי רמות קושי ידועות.
- סינון דאטה לפי גודל מודל
בחירת תתי קבוצות של שאלות על בסיס ציוני מעבר כדי לאמן מודלים קטנים או גדולים ביעילות.
איפה זה נופל
הנתונים כולם באנגלית, ללא ייצוג לשפות אחרות. המידע על רמות הקושי חלקי, שכן ציוני המעבר למודל 7B לא מאומן חושבו רק על כמחצית מהשאלות, בעוד שאר השאלות קיבלו ערך שלילי מתוך הנחה מראש שהן קשות עבורו. בנוסף, המאגר מתמקד כולו בשאלות עם תשובות חד משמעיות הניתנות לאימות מתמטי או מילולי פשוט, ולכן אינו מתאים למי שרוצה לאמן יכולות שיח פתוח או ניתוח תמונה תיאורי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. רישיון MIT מאפשר שימוש מסחרי מלא, כולל אימון מודלים המיועדים למכירה או שילוב הנתונים במוצר מסחרי. החובה היחידה היא לשמור על הודעת הרישיון המקורית של היוצרים.
האם המאגר כולל תוכן בעברית?
לא. כלל השאלות, ההסברים והתיוגים במאגר נכתבו באנגלית בלבד. אם המטרה היא עבודה בעברית, תידרש עבודת תרגום והתאמה משמעותית של הטקסט והתרשימים.
איך נמדדה רמת הקושי של השאלות במאגר?
רמת הקושי נקבעה לפי ציוני מעבר של מודלים. עבור מודל מאומן בגודל 32B יש תיוג מלא, אך עבור מודל 7B לא מאומן נבדקו רק שאלות ש־32B עבר בהצלחה מלאה, והשאר סומנו במינוס אחת כדי לחסוך משאבי חישוב.
באילו קבצים הנתונים מגיעים ואיך פותחים אותם?
הנתונים מחולקים לקובץ טקסטואלי מסוג Parquet וקובץ ZIP המכיל את התמונות. כדי לעבוד איתם פורקים את התמונות לתיקייה מקומית וטוענים את קובץ ה־Parquet בעזרת ספריות נתונים סטנדרטיות בפייתון.
איך טוענים
המאגר מכיל קובץ נתונים ראשי בשם 39Krelease.parquet וקובץ תמונות מכווץ בשם images.zip. הגישה אליו חופשית לחלוטין ללא צורך באישור מוקדם. השדות המרכזיים ברשומות הם השאלה, התמונה המשויכת, קטגוריית השאלה, התשובה הסופית וציוני מעבר שונים שמודדים רמות קושי עבור גדלי מודלים שונים. לחילוץ ובדיקת התשובות מהפלט של המודל, מפתחי המאגר ממליצים להשתמש בספריית math-verify.
from datasets import load_dataset
ds = load_dataset("TIGER-Lab/ViRL39K")הרישיון
המאגר מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, לשלב אותו במערכות פנימיות ולאמן עליו מודלים, גם כאלה שיימכרו בהמשך. הדרישה היחידה היא לכלול את הצהרת זכויות היוצרים ואת כתב הוויתור על האחריות של הרישיון המקורי בכל עותק או חלק מהותי של החומר.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש