VLAA-Thinking
קוד פתוחUCSC-VLAAapache-2.02025-02-24
שאלות ותשובות ויזואליות עם תהליכי חשיבה מפורטים בסגנון R1. הוא מתאים למי שרוצה לאמן מודלי ראייה-שפה על שרשראות היסק עמוקות במקום על תשובות קצרות וישירות.
- 753הורדות בחודש
- 20לייקים
מה זה
המאגר מבוסס על תשעה מקורות קיימים, ביניהם ArxivQA, DocVQA, Math PUMA ו־VizWiz, ומכיל שאלות פתוחות וסגורות על גבי תמונות. כדי לייצר את המידע, החוקרים תיארו תחילה כל תמונה בעזרת GPT-4o, ואז הזינו את התיאור והשאלה למודל DeepSeek-R1 כדי שיפיק צעדי היסק לוגיים בתוך תגיות ייעודיות לצד התשובה הסופית. התוצרים שוכתבו על ידי GPT-3.5-turbo ועברו אימות אוטומטי מול תשובות המקור, כך שרק דוגמאות שנמצאו נכונות נשארו.
הנתונים מחולקים לשני חלקים נפרדים לפי רמת הקושי של תהליך החשיבה. החלק שמיועד לאימון מונחה כולל 126,413 דוגמאות פשוטות יותר ללא רגעי הבנה עצמית. החלק שמיועד ללמידת חיזוק כולל 25,195 דוגמאות מורכבות יותר, ובו נכלל גם המאגר GeoQA170K בגלל נטייה להזיות בשלב התיאור הטקסטואלי.
מתאים ל
- אימון מודלי ראייה לחשיבה
לימוד מודלי ראייה-שפה לייצר צעדי היסק לוגיים לפני שהם פולטים תשובה סופית.
- למידת חיזוק על שאלות תמונה
אימון עם אלגוריתמים כמו GRPO על 25 אלף דוגמאות מורכבות שכוללות היסק עצמי.
- הערכת עומק הסקת מסקנות
בדיקת היכולת של מודלים קיימים להתמודד עם שאלות גאומטריה ודיאגרמות מורכבות.
איפה זה נופל
כל המידע מבוסס על שפה אנגלית בלבד, ואין כאן נתונים בעברית או התאמה להקשר מקומי. בנוסף, שלבי ההיסק נשענים על תיאורים טקסטואליים ש־GPT-4o יצר עבור התמונות, ולא על עיבוד ישיר של הפיקסלים בזמן יצירת שרשרת החשיבה, מה שעלול להחדיר שגיאות תפיסה ראשוניות. המאגר GeoQA170K הוסט כולו רק לחלק של למידת החיזוק בדיוק מהסיבה הזו. לפני שמשלבים את המידע במערכת אמיתית, חובה לבדוק שהמודל לא מתרגל לייצר טקסט ארוך ומפותל במקומות שדורשים זיהוי ויזואלי ישיר ומדויק.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצרים מסחריים?
כן, רישיון Apache 2.0 מאפשר שימוש מסחרי מלא בנתונים ללא תשלום תמלוגים. יש לוודא ששומרים על הודעת זכויות היוצרים של היוצרים ועל נוסח הרישיון המקורי. בנוסף כדאי לזכור שחלק מנתוני המקור הגיעו מדאטהסטים ציבוריים קודמים, כך שמומלץ לבדוק את התנאים הנקודתיים של תמונות הבסיס.
האם המאגר כולל תמיכה בעברית?
לא, כל השאלות, התשובות ושרשראות החשיבה בדאטהסט כתובות באנגלית בלבד. המקורות מגיעים ממאגרי מחקר בינלאומיים בפיזיקה, מתמטיקה ודיאגרמות מדעיות. אם אתם צריכים לאמן מודל שיפעל בעברית, תצטרכו לתרגם את הנתונים או לשלב אותם עם דאטהסט מקומי.
איך נוצרו שלבי ההיסק המפורטים בדאטהסט?
החוקרים לקחו תמונות ושאלות מתשעה מאגרים קיימים, ויצרו להן תיאור מפורט באמצעות GPT-4o. לאחר מכן הם הזינו את השאלה והתיאור למודל DeepSeek-R1 כדי שיפיק שרשרת היסק שלמה בתוך תגיות ייעודיות. התוצר שוכתב על ידי GPT-3.5-turbo ועבר אימות מול תשובות האמת המקוריות.
מה ההבדל בין קובץ ה־SFT לקובץ ה־RL במאגר?
הקובץ לאימון מונחה כולל מעל 126 אלף דוגמאות פשוטות יותר, שבהן תהליך ההיסק ישיר יחסית. לעומתו, קובץ למידת החיזוק מכיל כ־25 אלף דוגמאות שבהן המודל הפגין תיקון עצמי ורגעים מורכבים של הבנה. החלוקה הזו נועדה לאפשר קודם יישור בסיסי של המודל, ורק אז אימון מתקדם על בעיות קשות.
איך טוענים
הנתונים שמורים בקובצי JSON ו־JSONL, כולל קובץ לאימון מונחה וקובץ ייעודי לאלגוריתם מסוג GRPO. אין צורך לבקש אישור גישה למאגר. כדי להשתמש בו לאימון, צריך להוריד את קובצי הטקסט לצד תיקיית התמונות המקוריות מהמקורות השונים לפי הסקריפטים בגיטהאב של הפרויקט. השדות המרכזיים בכל רשומה הם מזהה הדוגמה, נתיב התמונה, השאלה, תשובת המקור, ותשובת המודל שכוללת את שלבי החשיבה המפורטים בתוך תגיות ייעודיות.
from datasets import load_dataset
ds = load_dataset("UCSC-VLAA/VLAA-Thinking")הרישיון
המאגר מופץ תחת רישיון Apache 2.0. הרישיון מתיר שימוש חופשי, שינוי של הנתונים, ושילוב שלהם בפרויקטים פנימיים או מסחריים, ללא חובת שיתוף של הנגזרות באותו רישיון. תנאי השימוש דורשים לשמור על הצהרת זכויות היוצרים ועותק הרישיון המקורי בכל הפצה של הנתונים או של מוצר שמבוסס עליהם ישירות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים