coco2017
קוד פתוחphiyodrרישיון לא דווח2023-06-26
המאגר מרכז תיאורי תמונות מתוך COCO 2017 בפורמט טבלאי נוח. הוא מתאים למי שרוצה לאמן מודלי ראייה ושפה על סט מוכר בלי להסתבך עם קובצי ה־JSON המקוריים.
- 2,281הורדות בחודש
- 26לייקים
מה זה
המאגר מבוסס על קובצי התיוגים הרשמיים של MS COCO משנת 2017, ומציע זוגות של תמונות וכיתובים. במקום המבנה המקורי של התחרות, הנתונים ארוזים כאן בפורמט דחוס. כל שורה מייצגת תמונה אחת ומכילה רשימה של מספר משפטי תיאור שנכתבו עבורה, לצד מזהים ייעודיים. בנוסף, כל רשומה כוללת מטא-דאטה טכני נרחב: ממדי התמונה, תאריך הצילום, שם הקובץ, מזהה התמונה, וקישורים ישירים לתמונה בשרתי COCO ובפליקר.
החלוקה הפנימית נשענת על החלוקה הסטנדרטית של COCO 2017. יש כאן שני חלקים בלבד: סט אימון הכולל 118,287 רשומות, וסט ולידציה שמכיל 5,000 רשומות. המפרסם לא הפעיל סינון עצמאי על התוכן, אלא המיר את נתוני המקור של cocodataset.org למבנה טבלאי שמתאים לעבודה ישירה בסביבת פייתון.
מתאים ל
- אימון מודלי תיאור תמונה
יצירת מודלים שמקבלים תמונה ומייצרים לה תיאור טקסטואלי מלא באנגלית על בסיס סט הנתונים הרשמי.
- בנצ'מרק להבנת תמונה
בדיקת ביצועים של מודלי ראייה ממוחשבת מול סט הוולידציה של COCO 2017 שכולל 5,000 דוגמאות.
- איחזור תמונה וטקסט
אימון מנועי חיפוש מולטימודליים המקשרים בין שאילתות טקסט באנגלית לבין תמונות מתאימות.
איפה זה נופל
הטקסטים כולם באנגלית בלבד, כך שאין כאן שום תמיכה בעברית. בנוסף, הנתונים הוקפאו בגרסת 2017, מה שאומר שהכיתובים והסגנון משקפים את האינטרנט של אותה תקופה. החיסרון התפעולי המרכזי הוא הפיצול בין המטא-דאטה לקובצי המדיה: אי אפשר להתחיל לאמן בלחיצת כפתור אחת, וחובה להוריד נפח תמונות משמעותי משרתים חיצוניים לפני שמתחילים לעבוד.
שאלות
נפוצות
האם המאגר כולל את התמונות עצמן?
לא, המאגר מכיל רק את קובצי הטקסט, התיאורים והמטא-דאטה. כדי לקבל את התמונות בפועל צריך להוריד אותן ישירות משרתי COCO באמצעות סקריפט.
האם אפשר להשתמש במאגר למטרות מסחריות?
בעמוד הדאטהסט לא מוגדר רישיון, ולכן אין לכך אישור ברור. בתוך הנתונים יש שדה רישיון לכל פריט, ויש לבדוק אותו פרטנית לפני שימוש מסחרי.
האם יש במאגר נתונים בעברית?
לא. כל התיאורים והכיתובים במאגר נאספו ונכתבו באנגלית בלבד.
מה ההבדל בין מאגר זה לגרסת ה־long?
במאגר הזה כל שורה מאגדת תמונה אחת עם כמה משפטי תיאור. בגרסת ה־long כל שורה מייצגת משפט תיאור יחיד, מה שיוצר כפילויות של נתוני התמונה.
איך טוענים
טוענים את המאגר ישירות עם ספריית datasets באמצעות הפקודה load_dataset ללא צורך באישור גישה מוקדם. הנתונים שמורים בשני קובצי Parquet, אחד לאימון ואחד לוולידציה. שימו לב שהמאגר בהאגינג פייס מכיל רק את קובצי הטקסט והמטא-דאטה, ולא את קובצי התמונות עצמם. את התמונות צריך להוריד ידנית כקובצי zip משרתי הפרויקט המקורי, לחלץ לתיקייה מקומית, ולמפות את הנתיב שלהן לפי השדה file_name.
from datasets import load_dataset
ds = load_dataset("phiyodr/coco2017")הרישיון
בדף המאגר בהאגינג פייס לא דווח רישיון כלל. למרות שבתוך הרשומות עצמן מופיע שדה בשם license, היעדר רישיון מוגדר ברמת המאגר משאיר את השימוש המסחרי בערפל משפטי. מודל שתאמנו עלול להיות חשוף לסיכונים, ולכן לשימוש מסחרי חובה לבדוק את הרישיון המקורי של כל תמונה לפי הקישורים המצורפים.