conceptual_12m
קוד פתוחgoogle-research-datasetsother2022-04-15
מעל 12 מיליון זוגות של תמונות וטקסט מהרשת לאימון מודלים רב מודליים. גוגל שחררו אותו עם סינון מתירני יותר מבעבר כדי לתפוס מושגים נדירים.
- 79הורדות בחודש
- 26לייקים
מה זה
המאגר כולל 12,423,374 רשומות, וכולן שייכות לחלוקת אימון אחת בלי פיצול מובנה למבחן או ולידציה. כל רשומה בנויה משני שדות בלבד, קישור להורדת התמונה ותיאור טקסטואלי שנלקח מתוך תגית הטקסט החלופי באינטרנט. המטרה כאן היא אימון מקדים של מודלי ראייה ושפה, במיוחד למשימות כמו יצירת כיתובים לתמונות.
איסוף המידע מבוסס על הצינור של המאגר הקודם בסדרה, אבל עם סינונים הרבה פחות מחמירים. החוקרים השאירו תמונות JPEG מעל 400 פיקסלים וזרקו פורנוגרפיה, אך אפשרו יחס מידות גמיש יותר של עד פי שתיים וחצי. בטקסט הם אפשרו כיתובים באורך שנע בין 3 ל־256 מילים וויתרו על החלפת שמות עצם פרטיים בקטגוריות כלליות, במטרה לחשוף את המודל למונחים ספציפיים ומורכבים יותר מהעולם האמיתי.
מתאים ל
- אימון מקדים לראייה ושפה
לימוד ייצוגים משותפים בין תמונות לטקסט באנגלית בהיקף רחב מאוד.
- יצירת כיתובים לתמונות
אימון מודלים שמקבלים תמונה ומייצרים לה תיאור טקסטואלי חופשי.
- זיהוי מושגים נדירים
חשיפת מודלים לשמות מקומות ומושגים ספציפיים שלא עברו הכללה.
איפה זה נופל
כל הטקסט במאגר הוא באנגלית בלבד, ואין כאן נתונים בעברית. בנוסף, בערך 25 אחוזים מהכיתובים עברו שינוי אוטומטי שבו שמות של בני אדם הוחלפו במחרוזת PERSON כדי לשמור על פרטיות. אם אתם בונים מערכת שצריכה להבין שמות של אנשים, המידע הזה פגום עבורכם. מעבר לכך, מדובר בטקסט חלופי שנאסף מהרשת, כך שיש בו שגיאות כתיב, תיאורים חלקיים ורעש טבעי שלא סונן.
שאלות
נפוצות
האם המאגר כולל תמונות מוכנות להורדה?
לא. המאגר מכיל רק קישורי רשת לתמונות ואת הטקסט החלופי שלהן. תצטרכו להוריד את התמונות בעצמכם מהאינטרנט, ולקחת בחשבון שקישורים מסוימים נשברים עם הזמן.
האם יש במאגר תמיכה בעברית?
לא. כל הכיתובים במאגר נאספו ונשמרו באנגלית בלבד.
האם מותר להשתמש בו למוצר מסחרי?
החוקרים מציינים שניתן להשתמש במידע באופן חופשי לכל מטרה, תוך בקשה למתן קרדיט לגוגל. עם זאת, הוא מוגדר תחת רישיון מותאם ולא רישיון מדף מוכר, וללא אחריות על הנתונים.
במה הוא שונה ממאגר CC3M הוותיק?
המאגר הנוכחי גדול פי ארבעה ומכיל סינון הרבה פחות נוקשה. בניגוד לגרסה הקודמת, הטקסטים לא עברו הכללה של שמות ומקומות למושגים רחבים, מה שמשאיר מושגים ספציפיים ונדירים יותר.
איך טוענים
אין כאן קובצי תמונה מוכנים להורדה אלא רק כתובות רשת וטקסט, מה שאומר שתצטרכו להריץ סקריפט הורדה עצמאי כדי למשוך את הקבצים בפועל. אין צורך בבקשת גישה מיוחדת או באישור כדי להוריד את קובצי הקישורים מהעמוד. השדות הקיימים הם image_url ו־caption בלבד. קחו בחשבון שחלק מהקישורים ברשת כבר לא עובדים, כך שבפועל לא תצליחו להוריד את כל 12 המיליון.
from datasets import load_dataset
ds = load_dataset("google-research-datasets/conceptual_12m")הרישיון
לפי המפתחים מותר להשתמש במאגר באופן חופשי לכל מטרה, כולל שימוש מסחרי, אך הוא מסופק כפי שהוא וללא אחריות. גוגל מבקשים לקבל קרדיט כמקור המידע, אך לא הוגדר רישיון קוד פתוח מוכר וסטנדרטי אלא רישיון מותאם.