food101
קוד פתוחethzunknown2022-03-02
מאגר ותיק לסיווג תמונות אוכל מתוך מסעדות, שמיועד בעיקר למי שצריך מדד מוכר ויציב להשוואת ביצועים מול ספרות המחקר.
- 37,156הורדות בחודש
- 147לייקים
מה זה
המאגר כולל 101 קטגוריות שונות של מנות, עם 1,000 תמונות לכל קטגוריה. התמונות נאספו מפלטפורמת שיתוף התמונות Foodspotting סביב שנת 2014, ומשקפות בעיקר צילומים של משתמשים במסעדות בצפון אמריקה ובמערב אירופה. כל תמונה הוקטנה כך שאורך הצלע המקסימלית שלה הוא 512 פיקסלים, והשדות בכל רשומה כוללים את התמונה עצמה ומזהה מספרי של הקטגוריה.
החלוקה הפנימית מורכבת מסט אימון של 75,750 תמונות, 750 מנות מכל קטגוריה, וסט בדיקה המכונה validation של 25,250 תמונות, 250 לכל קטגוריה. סט הבדיקה נבדק ידנית על ידי החוקרים כדי לוודא שהתיוג נכון, ואילו סט האימון הושאר בכוונה ללא ניקוי ומכיל רעש, צבעים מוגזמים ולעיתים תוויות שגויות שנלקחו ישירות מהתיוגים של המשתמשים באתר.
מתאים ל
- השוואת מודלים למחקר
בדיקת ביצועים של מודלי ראייה ממוחשבת מול עבודות קודמות בספרות על בנצ'מרק סטנדרטי.
- אימון תחת רעש בתיוג
פיתוח שיטות להתמודדות עם שגיאות תיוג מובנות, בזכות סט האימון הלא מסונן.
- בדיקת סיווג תמונות במסעדות
הערכת דיוק ראשונית של מודלים על צילומי מנות תחת תנאי תאורה וזוויות משתנות.
איפה זה נופל
התמונות צולמו סביב 2014 במסעדות, כך שהן משקפות אסתטיקה וסגנון צילום ישנים של משתמשי סמארטפונים באותה תקופה. הבחירה ב־101 קטגוריות מתעלמת כמעט לחלוטין ממטבחים עולמיים שלמים, כולל מטבחים אפריקאיים או מרכז אסייתיים, ויש בה הטיה ברורה נגד מנות צמחוניות, שכוללות רק כ־15 קטגוריות כמו פלאפל או חומוס. אין כאן רשימות רכיבים, ערכים תזונתיים או טקסט בעברית. בנוסף, סט האימון מכיל תיוגים שגויים מכוונים, ולעיתים מבצבצים ברקע פרצופים או ידיים של סועדים שלא טושטשו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. החוקרים מציינים במפורש שהתמונות שייכות למשתמשים שהעלו אותן ושכל שימוש מעבר למחקר הוגן דורש אישור מבעלי הזכויות. אימון מודל למוצר מסחרי מסכן אתכם בהפרת זכויות יוצרים.
האם יש במאגר מנות ישראליות או מזרח תיכוניות?
יש ייצוג בודד למנות פופולריות כמו פלאפל וחומוס מתוך 101 הקטגוריות. עם זאת, אין תיוג בעברית ומרבית המאגר מתמקד במנות שמקובלות בארצות הברית ובאירופה.
מדוע התיוגים בסט האימון לא תמיד מתאימים לתמונה?
יוצרי המאגר השאירו את סט האימון לא מנוקה בכוונה כדי לבחון אלגוריתמים מול רעש מהעולם האמיתי. רק סט הבדיקה, שכולל 250 תמונות לכל קטגוריה, עבר אימות ידני על ידי החוקרים.
האם אפשר לחשב ערכים תזונתיים בעזרת הנתונים?
לא באופן ישיר. המאגר מכיל רק תמונות ותוויות שמיות של המנה, ללא רכיבים, משקל או פירוט קלוריות, ולכן דורש שילוב עם מקורות נתונים חיצוניים.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets בלי צורך באישור גישה או הרשמה מיוחדת. הנתונים מחולקים לשמונה קובצי parquet עבור סט האימון לצד קובצי המבחן. כל רשומה מחזירה אובייקט תמונה בפורמט PIL ושדה label מספרי. הכרטיס מדגיש לגשת קודם לאינדקס של הרשומה ורק אז לשדה התמונה, כדי למנוע פיענוח אוטומטי ואיטי של כמות גדולה של תמונות בבת אחת.
from datasets import load_dataset
ds = load_dataset("ethz/food101")הרישיון
הרישיון הרשמי מוגדר כ־unknown, אבל החוקרים מבהירים שהתמונות אינן בבעלותם אלא שייכות למשתמשי Foodspotting. השימוש מותר למטרות מחקר אקדמי בלבד תחת שימוש הוגן. כל שימוש מסחרי מחייב משא ומתן נפרד מול בעלי התמונות המקוריים לפי תנאי האתר. אסור לקחת את המאגר הזה למוצר מסחרי או לאמן עליו מודל שמיועד למכירה.