bioclip-demo

מה זה

מעלים תמונה של אורגניזם, בוחרים דרגת מיון כמו מין, סוג או סדרה, ומקבלים תוויות סיווג עם הסתברויות, תמונה לדוגמה של הטקסון המזוהה וקישור למידע נוסף. הממשק מחולק לשני מצבים: זיהוי פתוח לחלוטין או סיווג בשיטת אפס דוגמאות שבו מקלידים רשימת שמות מועמדים כדי להבדיל בין אפשרויות ספציפיות.

מאחורי הקלעים רץ המודל BioCLIP, שנבנה על בסיס OpenCLIP ואומן על מאגר הנתונים TreeOfLife-10M. המערכת משתמשת בעיבוד נתונים של Polars וטוענת תבניות טקסט של ImageNet כדי לתרגם שמות מדעיים למרחב הוקטורי המשותף.

בדוגמאות המוכנות תמצאו חיות וצמחים מוכרים כמו דוב חום, חתול ופטריית אמנית הזבובים, לצד מקרים קשים יותר שמדגימים הבחנה דקה, למשל בין זעמן אלמוגי לפתן אלמוגי ארסי.

מתאים ל

• זיהוי מינים מתמונה

  מעלים תצלום של צמח או בעל חיים ומקבלים את הסיווג המדעי ברמות מיון שונות.

• הבחנה בין מינים דומים

  מזינים שמות של שני מינים דומים ובודקים למי מהם התמונה מתאימה יותר.

• בדיקת יכולות BioCLIP

  בוחנים את ביצועי מודל הראייה הביולוגי בדפדפן לפני שמשלבים אותו בקוד.

איפה זה נופל

ההדגמה מוגבלת לאפשרויות הטקסונומיות שנכללו באימון המקורי, והיא מציגה רק תוויות והסתברויות בלי הסבר על אופן קבלת ההחלטה. בנוסף, חומרת השרת הבסיסית עלולה להאט משמעותית את החישובים בעומס, במיוחד כשמשווים מול רשימות טקסט ארוכות במצב אפס דוגמאות.

איך משתמשים

גוררים תמונה לחלון הקלט ולוחצים על Submit. אם עובדים במצב הפתוח, בוחרים קודם את רמת המיון הרצויה מהתפריט, ואם עובדים במצב הממוקד, מזינים שמות בשורות נפרדות. אין צורך בהרשמה או התחברות כדי להתחיל. השרת פועל על מעבד רגיל מסוג cpu-basic וללא מאיץ גרפי, כך שעיבוד תמונה חדשה עלול לקחת כמה שניות טובות, בעוד שהדוגמאות המובנות נטענות מהר בזכות שמירה מוקדמת במטמון.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה של הקוד. עם זאת, הקוד כולל מנגנון HuggingFaceDatasetSaver ששומר נתונים שהועלו לממשק לצורך מעקב, ולכן לא מומלץ להעלות תמונות פרטיות שאינכם רוצים לחלוק.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗