Vero-600k

מה זה

המאגר מחולק לקונפיגורציות רבות לפי משימות שונות: תיאור תמונות, חילוץ מידע מדיאגרמות וטבלאות, ומשימות איתור, ספירה וחיפוש. הנתונים נאספו ממקורות שונים ברשת, בהם מאגרי תמונות כמו flickr30k, מאמרים מדעיים מ־arxivqa, ומאגרי ראייה ממוחשבת כמו objects365, tallyqa ו־CoSyn. חלק מהדאטה כולל הרחבות מבוססות הנחיות מנוסחות מחדש.

המבנה של כל רשומה כולל מזהה ייחודי, מקור הנתונים, תמונה, הנחיה בפורמט שיחה עם תפקיד ותוכן, והגדרה של היכולת הנבדקת. לצידם מופיע מבנה של reward_model עם תשובת אמת ואופן הבדיקה, וכן אובייקט extra_info שכולל את התחום, שאלות ותשובות, סוג התגמול וטווח סטייה מותר. רוב החלוקות מחזיקות סט אימון בגודל של אלפי עד עשרות אלפי דוגמאות לצד סט ולידציה קטן של עשרות עד מאות דוגמאות.

מתאים ל

• אימון למידת חיזוק

  שימוש במבנה reward_model ובנתוני ground_truth לצורך אימון RL מבוסס ראייה ממוחשבת.

• הבנת תרשימים וטבלאות

  אימון מודלי שפה רב-מודאליים על קונפיגורציות chart_ocr לחילוץ נתונים והסקה ממסמכים.

• ספירה ואיתור אובייקטים

  שיפור יכולות Visual Grounding וספירת עצמים בתמונות באמצעות דוגמאות ממוקדות.

איפה זה נופל

כל הטקסט במאגר באנגלית בלבד, ואין בו שום תמיכה מובנית בעברית או תמונות עם טקסט מקומי. המאגר מורכב מאוסף של מקורות חיצוניים שונים, מה שאומר שיש פערי איכות, שונות בסגנון ההנחיות ורמות קושי לא אחידות בין התצורות השונות. בנוסף, מודלי תגמול שמסתמכים על ground_truth מוגדר מראש עלולים להיות קשיחים מדי בהערכת שפה חופשית, ויש לבדוק את אמינות התיוג לפני שמבצעים עליו אופטימיזציה ישירה.

איך טוענים

טוענים את המאגר ישירות דרך ספריית datasets של Hugging Face תוך ציון הקונפיגורציה הספציפית שאתם צריכים, למשל קונפיגורציות של chart_ocr או counting_grounding_search. המאגר פתוח ואינו דורש אישור גישה מראש. הנתונים מאוחסנים בקובצי Parquet, אבל בגלל שהם כוללים תמונות בפועל בתוך המאגר, נפח ההורדה הכולל של כלל התצורות כבד מאוד ומגיע למאות ג'יגה-בייט. תתמקדו רק בקונפיגורציות הרלוונטיות שלכם וחלצו את השדות image, prompt ו־reward_model.

from datasets import load_dataset

ds = load_dataset("zlab-princeton/Vero-600k")

הרישיון

המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, בכפוף למתן ייחוס ושמירה על תנאי הרישיון המקוריים. מותר לאמן עליו מודלים לשימוש פנימי ומסחרי, אך יש לקחת בחשבון שחלק מהתמונות נאספו ממאגרי מקור שונים שייתכן ומחזיקים במגבלות זכויות יוצרים משלהם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗