GBC10M
קוד פתוחgraph-based-captionscc-by-nc-4.02024-06-07
המאגר מחבר תיאורי תמונה ארוכים עם מבנה של גרף יחסים ותיבות תוחמות. הוא מתאים למי שרוצה לאמן מודלי ראייה ושפה על הקשרים מורכבים בתוך תמונות במקום על משפט בודד ושטוח.
- 661הורדות בחודש
- 35לייקים
מה זה
המאגר מכיל מעל עשרה מיליון רשומות, מתוכן 10,151 מוקצות לבדיקה והשאר לאימון. כל דגימה בנויה כגרף שמייצג תמונה אחת. הגרף כולל צמתים שמייצגים אזורים עם תיחום גיאוגרפי ותיאורים טקסטואליים ברמות פירוט שונות, וקשתות שמקשרות בין הצמתים ומגדירות את היחסים ביניהם. בממוצע תמצאו בכל תמונה כ־12 צמתים, כ־22 קשתות ומעל 530 מילים.
הבסיס הוא התמונות מתוך המאגר המוכר CC12M. החוקרים לא תייגו את המידע באופן ידני, אלא הריצו צינור עיבוד אוטומטי שמשלב מודלי זיהוי אובייקטים מסוג YOLO-World ומודלי שפה וראייה ממשפחת LLaVA 1.6 כדי לחלץ אזורים, קשרים ותיאורים מפורטים.
מתאים ל
- אימון מקודדי ראייה ושפה
שיפור יכולת החיבור בין טקסט לתמונה במודלים מבוססי ארכיטקטורת CLIP באמצעות תיאורים עשירים.
- הבנת יחסים במרחב התמונה
אימון מערכות שמזהות כיצד אובייקטים שונים בתמונה מתקשרים ומשפיעים זה על זה לפי מבנה גרפי.
- מחקר על נתוני כיתוב סינתטיים
בדיקת ההשפעה של תיוג מבוסס מודלים גדולים על איכות הלמידה לעומת תיוג ידני שנאסף ממשתמשים.
איפה זה נופל
הנתונים מבוססים על כתובות אינטרנט חיצוניות מ־CC12M, מה שאומר שחלק גדול מהקישורים כבר שבור ולא יוביל לתמונה. כל התיאורים והיחסים נוצרו על ידי מודלים מלאכותיים, ולכן תמצאו בהם הזיות ושגיאות בזיהוי יחסים במרחב.
בנוסף, הטקסט קיים באנגלית בלבד. אם המטרה שלכם היא עבודה בעברית או תרחישים שדורשים דיוק עובדתי מוחלט באזורים קטנים, תצטרכו לסנן את הנתונים ולבדוק אותם בעין לפני השימוש.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, הרישיון הוא CC BY-NC 4.0 והוא אוסר כל שימוש מסחרי בתיוגים. אם תאמנו מודל על הנתונים האלה, לא תוכלו לשלב אותו במערכת בתשלום או במוצר עסקי. השימוש מוגבל למחקר בלבד.
האם קובצי התמונה עצמם נמצאים בתוך המאגר?
המאגר אינו מכיל את קובצי התמונה אלא רק כתובות אינטרנט שמפנות אליהן, לצד הגרפים של התיאורים. תצטרכו להריץ תהליך הורדה משלכם כדי להביא את התמונות. קחו בחשבון שחלק מהקישורים ברשת כבר לא פעילים.
האם יש במאגר נתונים בעברית?
לא, כל הטקסטים והתיוגים נכתבו באנגלית בלבד. המודלים שיצרו את התוכן עבדו באנגלית, ומקור הנתונים אינו כולל שפות נוספות. לשימוש מקומי תצטרכו לתרגם את החומר או לאמן מודל שיודע לגשר בין השפות.
איך המאגר הזה שונה ממאגרי כיתוב רגילים לתמונות?
רוב המאגרים מספקים משפט אחד קצר שמתאר את כל התמונה באופן שטוח. כאן כל תמונה מפורקת לגרף שלם שמכיל בממוצע 12 אזורים שונים, קשרים ביניהם ומאות מילים שמסבירות את ההקשר.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets של HuggingFace, כאשר הגישה חופשית ואינה דורשת אישור מוקדם. המאגר מחולק ל־221 קבצים בפורמט JSON Lines, ומכיל קישורים לתמונות ולא את קובצי התמונה עצמם.
לפני תחילת העבודה תצטרכו להוריד את התמונות מכתובות הרשת המקוריות. השדות המרכזיים בכל רשומה כוללים את כתובת התמונה, התיאור המקורי, ורשימת הצמתים והקשתות שמרכיבים את הגרף כולל קואורדינטות התיבות התוחמות.
from datasets import load_dataset
ds = load_dataset("graph-based-captions/GBC10M")הרישיון
התיוגים הסינתטיים מופצים תחת רישיון CC BY-NC 4.0 שמתיר שימוש למטרות מחקר בלבד ואוסר שימוש מסחרי מכל סוג, לצד חובת מתן קרדיט. מודל שתאמנו על המאגר לא יוכל לשמש במוצר מסחרי. בנוסף, התמונות עצמן אינן חלק מהרישיון הזה וכפופות לזכויות היוצרים המקוריות שלהן ברשת.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא