bioclip
קוד פתוחimageomicsmit2023-06-26
התאמה ייעודית של מודל הראייה של קליפ לזיהוי ביולוגי מדויק. הוא מזהה מאות אלפי מינים של צמחים, חרקים ובעלי חיים עם היררכיה טקסונומית מובנית.
- 574 MBמשקל הקבצים
- 37,740הורדות בחודש
- 66לייקים
מה זה
מי שלקח מודל ראייה רגיל כדי לסווג צמחים או חרקים מכיר את הבעיה, המודלים הכלליים מתבלבלים בקלות בין תתי־מינים דומים. המודל הזה אומן מחדש על מאגר של עשרה מיליון תמונות ומכסה יותר מ־450 אלף טקסונים, כשהוא מקשר בין התמונה לבין הדירוג הטקסונומי המלא מממלכה ועד מין.
בפועל הוא נותן תוצאות עדיפות בהרבה על פני מודלים כלליים באותו גודל. בבדיקות אפס־דוגמאות הוא מציג שיפור ממוצע של 17 אחוז על פני מודלי בסיס רגילים, ומגיע למשל ל־91.4 אחוז דיוק בזיהוי צמחים ממאגר פלנט־נט ו־72.1 אחוז בזיהוי ציפורים, תחומים שבהם מודלים רגילים משיגים תוצאות נמוכות בהרבה.
מתאים ל
- סיווג צמחים באפליקציה
זיהוי תמונות בוטניות מהשטח באנגלית, עם דיוק של מעל 90 אחוז במאגרים מובילים.
- מיון אוספי טבע ותמונות
קיטלוג תמונות טבע לפי היררכיה מדעית מלאה ללא צורך באימון מודל ייעודי מראש.
- בסיס למודל אקולוגי מקומי
חילוץ וקטורים מתמונות ביולוגיות כבסיס לאימון מסווג מהיר על מעט דוגמאות.
איפה זה נופל
למרות השדרוג הניכר, יש תחומים שבהם הוא עדיין מתקשה מאוד. בזיהוי פלנקטון הוא משיג רק 6.1 אחוזי דיוק, ובסוג מסוים של חרקים הוא עומד על 20.4 אחוז, מה שאומר שהוא רחוק מלהיות מושלם בזיהוי יצורים מיקרוסקופיים או קטנים במיוחד. כמו כן, הטקסט אומן באנגלית בלבד ושמות המינים הם מדעיים או עממיים באנגלית, כך שאין תמיכה מובנית בחיפוש או סיווג בעברית. היוצרים מדגישים בפירוש שאין להסתמך עליו באופן עיוור לקביעות מדעיות קריטיות.
שאלות
נפוצות
האם אפשר להשתמש במודל לחיפוש תמונות בעברית?
לא באופן ישיר. המודל אומן על אנגלית ושמות מדעיים בלטינית, כך שכדי לחפש בעברית תצטרכו לתרגם את השאילתה מראש.
האם המודל יודע איפה צולמה התמונה לפי המין?
לא. נתוני האימון לא כללו מידע גיאוגרפי או קואורדינטות כדי למנוע שימוש לרעה בידי ציידים, ולכן הוא מזהה מורפולוגיה בלבד.
איך מריצים
המשקל הכולל של הקבצים הוא 574 מגה־בייט בלבד, כך שלא צריך שרתים כבדים או מאיצי על כדי להריץ אותו. כל מעבד גרפי פשוט ואפילו מעבד מרכזי סטנדרטי של מחשב נייד יכולים להריץ את המודל הזה ללא מאמץ בעזרת ספריית אופן־קליפ.
במשקל כזה אין שום סיבה לשלם לספקי ענן על קריאות שרת. המודל מבוסס על ארכיטקטורת ויז'ן טרנספורמר בגודל בינוני עם חלוקה ל־16 פיקסלים, מקבל תמונות ברזולוציה של 224 על 224 פיקסלים, ורץ מקומית בלי לייצר תלויות חיצוניות או עלויות שוטפות.
pip install -U huggingface_hub hf download imageomics/bioclip
הקבצים
11 קבצים במאגר, 574 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הפרויקט מופץ תחת רישיון MIT, שמאפשר שימוש חופשי לחלוטין לכל מטרה, כולל מוצרים מסחריים וקוד סגור, בתנאי ששומרים על הודעת זכויות היוצרים המקורית. המפתחים ציינו בקשה מוסרית שנגזרות יישארו קוד פתוח, אך מבחינה משפטית הרישיון אינו כופה זאת ומאפשר שימוש מסחרי מלא.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש