rare-species
קוד פתוחimageomicsרישיון לא דווח2023-07-05
תמונות מתויגות של 400 בעלי חיים בסכנת הכחדה, עם סיווג טקסונומי מלא. בנו אותו כסט בדיקה לביצועי zero-shot על מינים נדירים שלא הופיעו באימון הבסיס.
- 1,147הורדות בחודש
- 17לייקים
מה זה
המאגר כולל 11,983 רשומות המורכבות מתמונות JPG ושדות טקסט נלווים. כל רשומה כוללת את התמונה עצמה, מזהים מקוריים, שם מדעי בלטינית, שם נפוץ באנגלית ופירוט טקסונומי של שבע דרגות מיונים, מממלכה ועד מין.
המידע נאסף מתוך Encyclopedia of Life, בהתבסס על הרשימה האדומה של ה־IUCN נכון ליולי 2023. החוקרים סיננו כ־25,000 מינים מוגדרים ובחרו רק 400 מינים שהיו להם לפחות 30 תמונות זמינות ושלא נכללו במאגרים iNat21 או BIOSCAN-1M. מכל מין נדגמו 30 תמונות, אם כי בחמישה מינים התגלה בדיעבד מספר נמוך מעט יותר עקב כפילויות במקור.
המאגר מיועד במקור כולו כסט בחינה עבור מודל BioCLIP, ולכן מגיע בחלוקת train אחת בלבד. המבנה כולל תשעה קובצי Parquet המכילים את התמונות והטקסונומיה, לצד קובצי CSV נפרדים לקטלוג ולרישיונות המקוריים של כל תמונה.
מתאים ל
- הערכת מודלי ראייה ממוחשבת
בדיקת ביצועי zero-shot ו־few-shot של מודלים על מינים נדירים שלא נכללו במאגרי אימון נפוצים.
- בדיקת סיווג היררכי
בחינת יכולת המודל לזהות רמות טקסונומיות גבוהות כמו משפחה וסוג כאשר המין הספציפי אינו מוכר.
- מחקר שימור ומגוון ביולוגי
ניתוח תמונות של 400 מינים מוגנים מתוך הרשימה האדומה כחלק מפרויקטי זיהוי וניטור אקולוגי.
איפה זה נופל
ההטיה המשמעותית ביותר היא הייצוג. מתוך כ־25,000 מינים בסכנת הכחדה נבחרו 400 בלבד, וכולם שייכים לממלכת בעלי החיים ומתפרסים על פני חמש מערכות בלבד, ללא צמחים או פטריות. אין במאגר נתוני מיקום גאוגרפי, ודירוג הסיכון המדויק אינו מוצמד לרשומות הבודדות. שמות המינים מופיעים בלטינית ובאנגלית בלבד, ואין תמיכה בשמות בעברית. בנוסף, חמישה מינים כוללים פחות מ־30 תמונות ייחודיות למרות מזהים שונים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא כפי שהוא. האוסף הכללי מוגדר CC0, אבל התמונות עצמן נאספו מיוצרים שונים ומחזיקות ברישיונות מגוונים, כולל רישיונות האוסרים שימוש מסחרי כמו CC BY-NC-SA. כדי לעבוד מסחרית תצטרכו להצליב את המזהים מול קובץ licenses.csv ולסנן רק תמונות שמתירות זאת.
האם יש במאגר שמות בעלי חיים בעברית?
לא. הנתונים כוללים שמות מדעיים בלטינית ושמות נפוצים באנגלית בלבד. אם יש צורך בהצגה או בחינה בעברית, תידרשו לבצע מיפוי ידני לפי השם המדעי או מזהה EOL.
מה ההבדל בין מאגר זה ל־TreeOfLife-10M?
המאגר הזה נוצר במקביל כסט בדיקה חיצוני. 400 המינים שנבחרו לכאן הוחרגו במכוון מאימון המודל ב־TreeOfLife-10M כדי לבדוק יכולת הכללה על מינים שלא נראו כלל באימון הבסיס.
האם יש מידע על מיקום הצילום או רמת הסיכון המדויקת?
לא. הנתונים אינם כוללים קואורדינטות או מיקום גאוגרפי. כמו כן, למרות שכל המינים נבחרו מהרשימה האדומה של IUCN, הקטגוריה הספציפית של כל מין אינה מופיעה כעמודה בטבלה.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות פקודת load_dataset עבור הנתיב המלא של המאגר. הגישה פתוחה ואינה דורשת אישור מיוחד. המאגר מכיל 11,983 שורות בתשעה קובצי Parquet. השדות המרכזיים לעבודה הם file_name שמחזיר אובייקט תמונה, sciName לשם המדעי, common לשם הנפוץ, ושדות המיון הטקסונומי כמו genus ו־family אם בונים סיווג היררכי.
from datasets import load_dataset
ds = load_dataset("imageomics/rare-species")הרישיון
האוסף עצמו פורסם תחת CC0, אך המאגר ברמת Hugging Face מסומן ללא רישיון מוגדר מכיוון שהתמונות הבודדות מגיעות תחת רישיונות שונים לחלוטין. הרישיונות לתמונות נעים בין CC0 לבין CC BY-NC-SA המגביל שימוש מסחרי ומחייב שיתוף זהה. לא ניתן להשתמש בכלל המאגר למוצר מסחרי מבלי לסנן את התמונות מראש לפי קובץ licenses.csv המצורף.