imagenet_1k_resized_256
קוד פתוחevanarlianother2023-07-30
גרסה מכווצת של ImageNet המקורי לרזולוציה של 256 על 256 פיקסלים. היא חוסכת זמן פריקה, שטח אחסון וצווארי בקבוק בעיבוד מקדים בזמן אימון.
- 16,414הורדות בחודש
- 31לייקים
מה זה
המאגר מכיל תמונות מסווגות לפי אלף המחלקות המקוריות של ImageNet, כולל מגוון רחב של בעלי חיים, כלי רכב וחפצים יומיומיים. כל רשומה כוללת תמונה ושדה תווית מספרי שתואם לאחת הקטגוריות באנגלית. מקור התמונות הוא באיסוף ובתיוג מבוססי המונים של הפרויקט המקורי, ללא סינון נוסף שמתועד כאן מעבר לשינוי הגודל הטכני.
הנתונים מחולקים לקבצי Parquet שמכילים תמונות דחוסות. המבנה כולל פיצול מובנה לחלקי אימון ובדיקה, עם 52 קבצים המיועדים לסט האימון וארבעה קבצים המיועדים לסט הבדיקה, כחלק ממאגר כולל של 60 קבצים.
מתאים ל
- אימון מודלים קלים
פיתוח ובדיקת ארכיטקטורות ראייה ממוחשבת בסביבות חישוב מוגבלות הדורשות רזולוציה של 256 פיקסלים.
- הערכת ביצועי סיווג
מדידת דיוק וציוני השוואה מול אלף המחלקות המקוריות של מדד ImageNet המוכר.
- הורדת צווארי בקבוק ב־I/O
האצת תהליך הטעינה בזמן אימון מודלים הודות לקבצי Parquet מכווצים וגודל תמונה אחיד.
איפה זה נופל
כל התמונות הוקטנו לרזולוציה אחידה של 256 פיקסלים, כך שאם המודל שלכם דורש פרטים קטנים או רזולוציה גבוהה יותר, המאגר הזה פשוט יפגע בביצועים. התוויות והשמות מופיעים כולם באנגלית בלבד, ואין כאן שום התאמה להקשרים מקומיים או לוקליזציה. התיוג המקורי התבסס על חוכמת המונים ברשת, מה שאומר שההטיות ההיסטוריות והרעש הקיים בתיוגים של ImageNet המקורי עדיין נוכחים כאן במלואם.
שאלות
נפוצות
האם מותר להשתמש במאגר הזה לפרויקט מסחרי?
לא. הרישיון כפוף להסכם השימוש של ImageNet המקורי שמגביל את הגישה לשימוש אקדמי ומחקרי בלבד. כל שימוש מסחרי במודל שאומן עליו מפר את תנאי ההסכם.
האם צריך אישור מיוחד כדי להוריד אותו?
כן, המאגר מוגדר כנעול. בעמוד הדאטהסט ב־Hugging Face תצטרכו לאשר ידנית תיבת סימון שמאשרת כי הסכמתם לתנאים של ImageNet המקורי.
מה ההבדל בינו לבין ImageNet המקורי?
כל התמונות במאגר הזה עברו שינוי גודל טכני מראש לרזולוציה של 256 על 256 פיקסלים ונארזו בקבצי Parquet. זה חוסך את הצורך בשינוי גודל מקומי בזמן הטעינה ומפחית את עומס העיבוד.
האם קיימת תמיכה בעברית?
לא. כל התוויות, שמות המחלקות והנתונים הטקסטואליים הם באנגלית בלבד.
איך טוענים
טוענים את המאגר ישירות בספריית הדאטהסטס של Hugging Face, אבל אי אפשר לגשת אליו אוטומטית בלי אישור. הוא מוגדר כמאגר מגודר, מה שמחייב לסמן באתר תיבת אישור שהסכמתם לתנאי השימוש של ImageNet המקורי לפני ההורדה.
הקבצים שמורים בפורמט Parquet, כאשר כל רשומה מחזיקה שני שדות בלבד: image שמכיל את התמונה עצמה, ו־label שמחזיק את מזהה המחלקה מתוך אלף הקטגוריות הקיימות.
from datasets import load_dataset
ds = load_dataset("evanarlian/imagenet_1k_resized_256")הרישיון
הרישיון מוגדר תחת תנאי השימוש הרשמיים של ImageNet, המחייבים אישור ידני של ההסכם המקורי. השימוש מוגבל למחקר אקדמי ולצרכים לא מסחריים בלבד. אסור להשתמש בנתונים האלה לאימון מודלים המיועדים למוצרים מסחריים או להפצה עסקית.