GPT
I

imagenet-1k-256x256

קוד פתוח

benjamin-paineother2024-09-13

  • imagenet
  • imagenet-1k
  • ilsvrc-2012

גרסה מכווצת של ImageNet-1k ברזולוציה אחידה של 256 על 256 פיקסלים. היא חוסכת פריקה ידנית של ארכיונים כבדים ומקצרת זמני טעינה באימון מודלים.

  • 7,675הורדות בחודש
  • 23לייקים

מה זה

המאגר מכיל מיליוני תמונות צבעוניות שממוינות לאלף מחלקות שונות לפי ההיררכיה המקורית של WordNet. כל רשומה כוללת תמונה ברזולוציה אחידה ותווית סיווג מספרית, לצד שמות המחלקות באנגלית. התוכן כולל מגוון עצום של בעלי חיים, כלי רכב, מבנים וחפצים יומיומיים שנאספו במקור מרשת האינטרנט ותויגו באמצעות מיקור המונים.

הנתונים מחולקים למערך אימון ולמערך בדיקה שנשמרים כקבצי Parquet מודרניים. מערך האימון מפוצל ל־40 קבצים שונים, ומערך הבדיקה מחולק לשלושה קבצים, מה שמאפשר קריאה יעילה במקביל בלי להעמיס את כל הזיכרון בבת אחת.

מתאים ל

  • אימון מודלי סיווג

    הרצת אימון ראשוני על ארכיטקטורות ראייה ממוחשבת שדורשות קלט בגודל קבוע של 256 על 256 פיקסלים.

  • בדיקת ביצועים השוואתית

    מדידת דיוק של מודלים מול עבודות מחקר קודמות שמשתמשות באלף המחלקות הסטנדרטיות.

  • ניסויי דחיסת מודלים

    הערכת מהירות ופגיעה באיכות בעת כיול קוונטיזציה או גיזום משקולות על תמונות סטנדרטיות.

איפה זה נופל

הרזולוציה הנמוכה של 256 פיקסלים מעלימה פרטים קטנים וטקסטורות עדינות שהיו קיימים בתמונות המקוריות. התיוג נעשה באנגלית בלבד ומשקף הטיות תרבותיות מערביות חזקות, לצד חלוקה מפורטת מדי של גזעי כלבים וציפורים ביחס לחפצים נפוצים אחרים. מי שמתכנן מוצר ראייה ממוחשבת לעולם האמיתי צריך לדעת שהנתונים נאספו לפני שנים רבות, והם אינם כוללים תמונות עדכניות, תאורה מורכבת או תוכן שרלוונטי במיוחד לישראל.

שאלות
נפוצות

האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?

לא, הרישיון אוסר מפורשות כל שימוש מסחרי ומגביל את הנתונים למחקר אקדמי וחינוכי. גם עובדים בחברות מסחריות שחותמים על ההסכם מחויבים להשתמש בו אך ורק לצורכי מחקר פנימיים שאינם מסחריים.

מה היתרון של הגרסה הזו לעומת המאגר המקורי?

הגרסה הזו מגיעה בפורמט Parquet מודרני שנוח לקריאה ישירה בקוד, והתמונות כבר מוקטנות לגודל אחיד של 256 פיקסלים. זה חוסך את הצורך בהורדת מאות גיגה-בייט של קובצי tar ועיבוד מקדים כבד.

האם המאגר כולל תגיות בעברית?

לא, כל 1,000 המחלקות מוגדרות בשמותיהן הרשמיים באנגלית בלבד. אם יש צורך בהצגת תוצאות בעברית, תידרשו לתרגם את רשימת המחלקות באופן עצמאי.

מדוע צריך לבקש אישור גישה מראש?

התמונות במאגר כפופות להסכם משתמש של אוניברסיטאות סטנפורד ופרינסטון שנועד להסדיר זכויות יוצרים. Hugging Face מיישמת מנגנון שער שמחייב אתכם לאשר את התנאים המשפטיים לפני שניתן למשוך את הקבצים.

איך טוענים

הגישה למאגר סגורה ומחייבת אישור ידני של תנאי השימוש מול אוניברסיטאות פרינסטון וסטנפורד בעמוד המקורי. לאחר קבלת ההרשאה, טוענים את הנתונים דרך ספריית datasets באמצעות מזהה המאגר. הרשומות מגיעות בשני שדות בלבד, image המכיל את התמונה המכווצת ו־label שמחזיר את מזהה המחלקה. מומלץ להשתמש בטעינה מוזרמת כדי לחסוך מקום מקומי בדיסק.

from datasets import load_dataset

ds = load_dataset("benjamin-paine/imagenet-1k-256x256")

הרישיון

המאגר מוגבל למחקר אקדמי ולמטרות חינוכיות בלבד תחת הסכם הגישה המחמיר של ImageNet. שימוש מסחרי מכל סוג אסור בהחלט, כולל אימון של מודלים המיועדים למוצרים רווחיים, וארגונים מסחריים חבים באחריות משפטית מלאה לפי חוקי מדינת ניו ג'רזי במקרה של הפרת זכויות יוצרים.

הרישיון המלא ב־Hugging Face ↗