fashion_mnist
קוד פתוחzalando-datasetsmit2022-03-02
שבעים אלף תמונות בגודל עשרים ושמונה על עשרים ושמונה פיקסלים של פריטי אופנה בגווני אפור. הוא מחליף את מאגר הספרות הישן בבדיקות של אלגוריתמים בלי לשנות שורת קוד אחת במבנה הרשת.
- 10,210הורדות בחודש
- 67לייקים
מה זה
המאגר כולל שבעים אלף מוצרים שונים מאתר זלנדו, שמחולקים לשישים אלף דוגמאות אימון ועשרת אלפים דוגמאות בדיקה. כל דוגמה מורכבת מתמונה בגווני אפור של עשרים ושמונה על עשרים ושמונה פיקסלים ומתווית מספרית בין אפס לתשע. התוויות מייצגות עשר קטגוריות לבוש: חולצות טי, מכנסיים, סוודרים, שמלות, מעילים, סנדלים, חולצות מכופתרות, נעלי סניקרס, תיקים ומגפונים.
הבסיס מגיע מתמונות מוצר חזיתיות שצילמו צלמים מקצועיים עבור גברים, נשים וילדים. פריטים בצבע לבן הוצאו מראש בגלל ניגודיות נמוכה מול הרקע האפור הבהיר של האתר. התמונות עברו חיתוך שוליים, כיווץ לגודל הסופי, חידוד קצוות והיפוך עוצמות צבע כדי לייצר רקע כהה בדומה למאגר המקורי.
הסיווג נקבע לפי קוד גזרה פנימי של החברה, שתויג ידנית על ידי מומחי אופנה בתוך זלנדו ונבדק על ידי צוות ביקורת נפרד. לכל מוצר מוצמדת קטגוריה אחת בלבד.
מתאים ל
- אימות מהיר של ארכיטקטורות
בדיקת ביצועים לאלגוריתמי ראייה ממוחשבת במקום מאגר הספרות הישן, בלי צורך בכוח מחשוב כבד.
- הוראה ותרגול בלמידה עמוקה
תרגול מודלים לסיווג תמונות במסגרת קורסים בלי להסתבך עם זמני אימון ארוכים על כרטיסי מסך יקרים.
- בדיקות סניטי למודלים
הרצת בדיקה ראשונית לבדיקת תקינות הקוד וקצב ההתכנסות לפני שעוברים לדאטהסטים גדולים ברזולוציה מלאה.
איפה זה נופל
התמונות עברו דחיסה חריפה לרזולוציה זעירה של עשרים ושמונה פיקסלים וגווני אפור בלבד, כך שאין כאן שום ייצוג לפרטי טקסטורה, צבע או תנאי צילום אמיתיים. מוצרים בצבע לבן סוננו לחלוטין בתהליך ההכנה, מה שיוצר חסך מובנה בסוגי בדים מסוימים. המאגר מבוסס על צילומי סטודיו מבוקרים של מוצרי אופנה עד שנת אלפיים ושבע עשרה, ולכן מודל שיאומן עליו לא יחזיק מול תמונות שצולמו בטלפון נייד או תחת תאורה טבעית.
שאלות
נפוצות
האם מותר להשתמש בזה במוצר מסחרי?
כן, רישיון MIT מתיר שימוש מסחרי מלא ללא תשלום תמלוגים. אפשר לאמן עליו מודלים מסחריים ולשלב אותם במערכות סגורות, בתנאי שמצרפים את כתב הרישיון המקורי בהפצת הקוד.
האם המאגר כולל עברית?
המאגר מוגדר באנגלית, אך למעשה אין בו טקסט בכלל מלבד תוויות הקטגוריה. כל הנתונים הם תמונות מוקטנות ומספרים מזהים בין אפס לתשע, כך שאין תלות בשפה.
למה לא להשתמש במאגר הספרות המקורי?
ספרות בכתב יד הפכו לקלות מדי לאימון, ורשתות בסיסיות מגיעות בהן ליותר מתשעים ותשעה אחוזי דיוק בלי מאמץ. הנתונים כאן שומרים על אותו מבנה בדיוק, אבל מציגים אתגר סיווג מורכב יותר.
האם זה מתאים לאימון מערכת לזיהוי בגדים בחנות אמיתית?
לא, הרזולוציה נמוכה מדי ואין מידע על צבע או תנאי סביבה אמיתיים. המאגר מתאים לבדיקת אלגוריתמים בלבד, ואינו משקף צילומי שטח של משתמשים.
איך טוענים
המאגר שמור בשני קובצי פארקט פשוטים, אחד לאימון ואחד לבדיקה, ואין צורך בהרשאת גישה או אישור מיוחד. הטעינה מחזירה אובייקט תמונה ועמודת תווית במספר שלם. כדאי לגשת קודם לאינדקס של השורה ורק אז לעמודת התמונה, כי פנייה ישירה לכל עמודת התמונות בבת אחת מפענחת את הקבצים וגוזלת זימן ריצה מיותר.
from datasets import load_dataset
ds = load_dataset("zalando-datasets/fashion_mnist")הרישיון
המאגר מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מחקריים ומסחריים, לשנות אותו, להפיץ אותו מחדש ולאמן עליו מודלים חופשיים או קנייניים. הדרישה היחידה היא שמירת הודעת זכויות היוצרים ונוסח הרישיון המקורי בקוד או בהפצה של הנתונים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש