mnist

מה זה

המאגר מכיל תמונות בגווני אפור בגודל עשרים ושמונה על עשרים ושמונה פיקסלים, שמציגות ספרות בודדות מ־0 עד 9. המקור הוא שני מאגרים של ארגון NIST האמריקאי, כאשר חצי מהתמונות נאספו מעובדי לשכת מפקד האוכלוסין וחצי מתלמידי תיכון. הכותבים עצמם תייגו את הספרות מיד אחרי הציור שלהן, כך שלא היה תהליך תיוג חיצוני נפרד.

היוצרים ביצעו נרמול של הספרות לגודל של עשרים על עשרים פיקסלים תוך שמירה על יחס הגובה והרוחב, ואז מירכזו כל ספרה לפי מרכז המסה שלה בתוך שטח התמונה המלא. החלוקה הפנימית כוללת שישים אלף תמונות לאימון ועשרת אלפים לבדיקה, בחלוקה שווה של שבעת אלפים תמונות לכל ספרה בסך הכל. כל האנשים שנכללים בסט הבדיקה שונים לחלוטין מאלו שמופיעים בסט האימון.

מתאים ל

• אימות קוד וארכיטקטורה

  הרצת מודל סיווג ראשוני כדי לוודא שצינור האימון והחישובים עובדים בלי תקלות.

• לימוד סיווג תמונה

  הוראה והתנסות באלגוריתמים לראייה ממוחשבת על קלט קל לפענוח.

• השוואת ביצועים תאורטית

  בדיקת מהירות ויכולת התכנסות של רשתות נוירונים ביחס לתוצאות מוכרות בספרות.

איפה זה נופל

התמונות מבודדות, ממורכזות מראש ומוגבלות לספרות מערביות בלבד בלי תווים בעברית או טקסט רציף. עורכי המאגר מציינים שכתב היד של עובדי המפקד קריא בהרבה מזה של התלמידים, עובדה שיוצרת שונות בסגנון. לא הייתי משתמש בזה למערכת זיהוי אמיתית, כי תמונות בעולם האמיתי כוללות רקעים מורכבים, זוויות שונות ורעשים שפשוט לא קיימים כאן.

איך טוענים

הנתונים מגיעים בשני קבצי parquet, אחד לאימון ואחד לבדיקה, ללא צורך בהרשאות מיוחדות או אישור גישה. כל רשומה מחזיקה שני שדות בלבד: image שהוא אובייקט תמונה, ו־label שמחזיר מספר שלם בין 0 ל־9. חשוב לגשת לאינדקס הדגימה לפני שניגשים לעמודת התמונה כדי למנוע פענוח כבד ואיטי של כמות קבצים גדולה בזיכרון.

from datasets import load_dataset

ds = load_dataset("ylecun/mnist")

הרישיון

המאגר מופץ תחת רישיון mit. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולשלב אותו בתוכנות אחרות, כל עוד שומרים על הודעת זכויות היוצרים המקורית. הרישיון לא מגביל אימון מודלים מסחריים ואינו דורש שיתוף של הנגזרות באותו רישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗