image_captions

מה זה

המאגר כולל מעל מיליון תמונות עם כיתובים, שנועדו למשימות של תמונה לטקסט וטקסט לתמונה. הרשומות מבוססות על איחוד של מספר מאגרי קוד פתוח קיימים, שעברו תהליך עיבוד וניקוי מרוכז של 96 שעות חישוב על פני שלושה צמתים. המטרה של התהליך הייתה לתקנן את הנתונים, לוודא את תקינותם ולבצע נרמול של הטקסט והתמונות.

במקום להחזיק קישורים חיצוניים שלעיתים קרובות נשברים או נעלמים מהרשת, כל תמונה שמורה ישירות כקובץ תמונה מוטמע מסוג PIL בתוך מבנה הנתונים. הדאטהסט מאורגן בפיצול אימון יחיד שמחולק ל־160 קובצי פָּרקֶה שונים, מתוך 162 קבצים שקיימים במאגר הכולל. כרטיס הדאטהסט לא מפרט את השמות של המאגרים המקוריים שמהם נלקחו הנתונים, ולא מסביר אילו קריטריונים שימשו לסינון איכות הכיתובים.

מתאים ל

• אימון מחוללי תמונות

  אימון או כוונון של מודלים שמייצרים תמונות מתוך תיאור טקסטואלי באנגלית.

• יצירת כיתובים אוטומטיים

  בניית מודלים של ראייה ממוחשבת שמקבלים תמונה ומפיקים לה כיתוב מדויק.

• בדיקת צימוד תמונה וטקסט

  הערכת ביצועים של מודלים רב-מודליים על מאגר עם תמונות מוטמעות מראש.

איפה זה נופל

הטקסטים במאגר מוגדרים באנגלית בלבד, ואין כאן נתונים בעברית. הבעיה העיקרית היא חוסר השקיפות של היוצרים לגבי מקורות המידע. הכרטיס מציין שנעשה שימוש במאגרי קוד פתוח, אך לא נוקב בשמותיהם, ולא מפרט אילו הטיות, תכנים פוגעניים או פערי ייצוג קיימים בתמונות ובתיאורים. בנוסף, אין מידע על גיל הנתונים או על התפלגות הנושאים. לפני שמשלבים את המאגר בתהליכי עבודה מעבר למחקר בסיסי, חייבים לבצע דגימה עצמאית של התמונות והטקסטים כדי לבדוק את איכות התיאורים.

איך טוענים

טוענים את המאגר ישירות בספריית datasets עם הפקודה load_dataset("takara-ai/image_captions"). אין צורך בבקשת גישה מיוחדת או באישור ידני של היוצרים כדי להתחיל להוריד. הנתונים מגיעים ב־160 קובצי parquet נפרדים של אימון, ומכיוון שהתמונות מוטמעות ישירות ברשומות ולא ככתובות רשת, מדובר בנפח אחסון משמעותי מאוד. כדאי לוודא שיש לכם מספיק מקום פנוי בדיסק ורוחב פס יציב לפני שמתחילים במשיכה, או להשתמש בהזרמת נתונים אם אתם רק רוצים לדגום חלק מהדוגמאות.

from datasets import load_dataset

ds = load_dataset("takara-ai/image_captions")

הרישיון

היוצרים לא דיווחו על רישיון שימוש במאגר. מבחינה מעשית ומשפטית, היעדר רישיון מוגדר משאיר את זכויות היוצרים בידי המפרסמים או בעלי התמונות המקוריות, ואוסר על שימוש מסחרי מכל סוג. אי אפשר לדעת אם מותר לשלב את הדאטהסט במוצר פעיל או מה המעמד החוקי של מודל שאומן עליו.

הרישיון המלא ב־Hugging Face ↗