cub200_dataset
קוד פתוחcassiekangmit2024-03-21
תמונות של 200 מיני ציפורים עם תיוגים עמוקים של חלקי גוף, מאפיינים פיזיים ותיאורים טקסטואליים. זה מאגר ממוקד שמיועד למי שבונה מודלים לסיווג ויזואלי עדין ולא סתם זיהוי כללי.
- 1,069הורדות בחודש
- 19לייקים
מה זה
המאגר מכיל צילומים של ציפורים שמחולקים ל־200 מינים שונים, בעיקר מצפון אמריקה. מדובר בגרסה מורחבת של CUB המקורית מ־2011, שכוללת 11,788 תמונות בסך הכל. התיוג כאן חורג בהרבה משם המין, והוא כולל תיחום בקופסאות, סגמנטציה ברמת הפיקסל, מיקום של 15 חלקי גוף מוגדרים, ו־312 מאפיינים בינאריים שמתארים תכונות והתנהגות.
בנוסף למידע הוויזואלי, כל תמונה לוותה בעשרה תיאורים מילוליים קצרים באנגלית שנאספו באמצעות עובדי אמזון מכניקל טורק. החלוקה המקורית של הנתונים מאוזנת כמעט לחלוטין, עם 5,994 תמונות לאימון ו־5,794 תמונות לבדיקה, מה שמאפשר להשוות תוצאות מול בנצ'מרקים קיימים בצורה נקייה.
מתאים ל
- סיווג תמונות עדין
הבחנה מדויקת בין זנים דומים מאוד של ציפורים על בסיס הבדלים ויזואליים קטנים.
- למידה מרובת משימות
אימון משולב שמזהה במקביל את זן הציפור, מיקום האיברים ומאפייני נוצות וצבע.
- אימון מודלי מולטימודל
הצלבת עשרת תיאורי הטקסט עם התמונות והסגמנטציה למשימות של קישור טקסט ותמונה.
איפה זה נופל
התמונות מציגות ציפורים מצפון אמריקה בלבד, כך שאם אתם בונים מערכת לזיהוי עופות בישראל או באירופה, רוב המינים המקומיים פשוט לא קיימים כאן. הנתונים נאספו ב־2011, כלומר מדובר בתמונות ישנות ברזולוציות ובאיכויות צילום של אותה תקופה. כל התיאורים המילוליים נכתבו באנגלית בלבד דרך מיקור המונים, ולכן יש לקחת בחשבון שונות בניסוחים ובדיוק של עובדי המערכת. בנוסף, במאגר הנוכחי רשומים 5,912 קבצים בלבד, מספר שנמוך מסך 11,788 התמונות שמתוארות בטקסט המקורי, ויש לוודא מראש שכל הפיצולים שאתם צריכים אכן נכללו בהעלאה הזו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הדף מדווח על רישיון MIT, שמאפשר שימוש מסחרי מלא בקוד ובנתונים. תצטרכו רק לכלול את הצהרת הרישיון והייחוס המקורי של החוקרים מ־Caltech בתוך המוצר שלכם.
האם יש במאגר שמות ציפורים או תיאורים בעברית?
לא. כל הנתונים, שמות המינים ועשרת תיאורי הטקסט לכל תמונה נאספו באנגלית בלבד. אם המערכת שלכם מיועדת לקהל ישראלי, תצטרכו לתרגם את השמות והמאפיינים באופן עצמאי.
איך נאספו התמונות והתיוגים בדאטהסט?
התמונות לוקטו על ידי חוקרים מ־Caltech ומ־UCSD עבור 200 מינים. התיוגים המפורטים שכוללים חלקי גוף, קופסאות תיחום ומאפיינים הוגדרו על ידי החוקרים, בעוד שתיאורי הטקסט החופשיים נאספו באמצעות עובדים באמזון מכניקל טורק.
למה יש הבדל בין כמות הקבצים המוצגת לתיאור המקורי?
דף המאגר מציג 5,912 קבצים, שזהה כמעט במדויק לחלק האימון שמכיל 5,994 תמונות, בעוד התיאור מזכיר 11,788 תמונות בסך הכל. כדאי לבדוק את מבנה התיקיות מיד עם ההורדה כדי לראות אם ההעלאה הזו כוללת רק את סט האימון או שסט הבדיקה שמור בנפרד.
איך טוענים
המאגר פתוח לחלוטין להורדה ישירה דרך Hugging Face ללא צורך באישור גישה. במאגר הספציפי הזה שמורות התמונות בתיקיות לפי מינים לצד סקריפט טעינה בכתובת code/cub200_dataset.py. המבנה הבסיסי מחזיר שדה תמונה ושדה טקסט עם תיאור המין, אך כדי לנצל את כל 312 המאפיינים, הסגמנטציה ומיקומי החלקים יש לוודא שהסקריפט מושך את קובצי האנוטציות המלאים שנשמרו בפרויקט המקורי של Caltech.
from datasets import load_dataset
ds = load_dataset("cassiekang/cub200_dataset")הרישיון
המאגר פורסם תחת רישיון MIT. רישיון זה מתיר שימוש מסחרי, שינוי והפצה של המידע, ללא דרישה להפיץ עבודות נגזרות תחת אותו רישיון. תנאי השימוש מחייבים שמירה על הודעת זכויות היוצרים והרישיון המקורי. המשמעות עבורכם היא שניתן לאמן מודלים על בסיס הנתונים הללו ולהשתמש בהם במוצרים מסחריים, בכפוף למתן קרדיט מתאים ליוצרים המקוריים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש