mini-imagenet
קוד פתוחtimmother2024-11-20
גרסה מוקטנת של אימג'נט שכוללת מאה מחלקות מתוך האלף המקוריות. התמונות נשמרו ברזולוציה המקורית שלהן במקום כיווץ אגרסיבי, ומטרתן העיקרית היא בדיקת היפרפרמטרים ואימון קצר.
- 6,959הורדות בחודש
- 28לייקים
מה זה
מדובר במאגר תמונות לסיווג ראייה ממוחשבת שמכיל מאה קטגוריות בלבד מתוך המאגר המקורי. בניגוד לגרסאות מוקטנות אחרות שמכווצות את התמונות לגודל של שמונים וארבע על שמונים וארבע פיקסלים, כאן הקבצים שמרו על ממדי המקור. התוכן מבוסס על התמונות ההיסטוריות של אתגר אימג'נט מ־2015, אך נבחר כמדגם חלקי.
החלוקה הפנימית מורכבת משלושה חלקים ברורים. חלק האימון כולל 50,000 דוגמאות שנלקחו מסט האימון המקורי, חלק הוולידציה כולל 10,000 דוגמאות שגם הן נלקחו מסט האימון המקורי, וחלק המבחן מכיל 5,000 תמונות שמקורן בסט הוולידציה של אימג'נט, בדיוק חמישים תמונות לכל אחת ממאה המחלקות.
מתאים ל
- ניסויי היפרפרמטרים
הרצה מהירה של איטרציות לבדיקת קצבי למידה וארכיטקטורות של טיים.
- בדיקת צינורות עיבוד
ולידציה של תהליכי אוגמנטציה וטעינת נתונים על תמונות ברזולוציה מלאה.
- אימון מהיר במשאבים נמוכים
אימון מודלים קטנים על מאה מחלקות בלבד כשאין חומרה לאימג'נט מלא.
איפה זה נופל
יוצר המאגר מודה בעצמו שהוא לא יודע מאיפה הגיע הפיצול הספציפי הזה. הוא מציין במפורש שהחלוקה והמחלקות אינן תואמות למאמר המוכר של ויניאלס מ־2016, אלא מתאימות לעמוד מסוים בקגל שגם מקורו אינו ברור. בנוסף, חלקי האימון והוולידציה נגזרו שניהם מסט האימון המקורי, מה שדורש זהירות. אין כאן נתונים טקסטואליים או תמיכה בשפות כמו עברית, ומדובר בדגימה ישנה מצילומים כלליים ברשת מלפני עשור.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ בכלל. הרישיון מסומן כאחר והתמונות מגיעות מאימג'נט המקורי שאינו מיועד למסחר. ללא רישיון ברור ומקור מתועד, השימוש בו מוגבל בעיקר לניסויים ומחקר.
איך המאגר הזה שונה מגרסאות מיני אימג'נט אחרות?
ההבדל העיקרי הוא הרזולוציה. רוב הגרסאות מכווצות את כל התמונות לגודל אחיד של 84 על 84 פיקסלים, בעוד כאן נשמר הגודל המקורי של התמונות.
מה המקור של הפיצול בין החלקים?
היוצר מציין כי מקור הפיצול אינו ידוע בוודאות. הוא תואם לעמוד נתונים מסוים באתר קגל, ואינו תואם לפיצול המחקרי המקובל מהספרות של 2016.
האם יש במאגר נתונים בעברית או טקסט כלשהו?
אין שום טקסט או תוכן מקומי. מדובר במאגר תמונות נקי שמיועד למשימות סיווג ראייה ממוחשבת בלבד.
איך טוענים
הנתונים מחולקים לעשרים קבצים בפורמט פארקט, כאשר קובצי האימון מפוצלים לשלושה עשר חלקים וקובצי המבחן לשניים. אפשר למשוך אותם ישירות דרך הספרייה הפופולרית באמצעות ציון המזהה המדויק בפקודת האימון, והמאגר פתוח להורדה בלי צורך בהרשאה מוקדמת או אישור מיוחד. בעבודה מול סקריפטים של טיים מציינים את הדגל למאה מחלקות כדי להתאים את הראש של המודל למבנה הנתונים. כדאי לקחת בחשבון שמשום שהתמונות שמרו על גודלן המקורי ולא כווצו מראש, זמן הפריקה והעיבוד עלול להיות גבוה מזה של גרסאות מוקטנות רגילות.
from datasets import load_dataset
ds = load_dataset("timm/mini-imagenet")הרישיון
הרישיון מוגדר כאחר. המאגר נשען על אימג'נט המקורי, שמיועד באופן מסורתי לשימוש מחקרי ולא מסחרי. הגדרת הרישיון הכללית והמקור הלא ברור של החיתוך אומרים שאין כאן היתר מפורש לשימוש מסחרי, ואי אפשר להסתמך עליו במוצר סגור או מסחרי בלי להסתכן בהפרת תנאי המקור.