SkalskiP/YOLO-World

מה זה

אתם מעלים תמונה או סרטון, ומקלידים שמות של קטגוריות שרוצים לזהות. בתמורה מקבלים את הקובץ עם תיבות תוחמות או מסכות חיתוך סביב העצמים שנמצאו.

מאחורי הקלעים הקוד משלב שני מודלים שונים. תחילה רץ מודל זיהוי בשם YOLO-World בגרסת ה־L שלו, שמוצא את האובייקטים לפי הטקסט שהגדרתם. אם מסמנים אפשרות לסגמנטציה, התוצאות מועברות למודל EfficientSAM שמייצר מסכות מדויקות עבור כל תיבה.

בדוגמאות הווידאו המובנות אפשר למצוא קטעים שמחפשים בהם קרואסון, מזוודות, אישה הולכת, או ממותה. הדוגמאות מגיעות עם ספי סמך ו־IoU מוגדרים מראש כדי להראות ביצועים על מקרים קונקרטיים.

מתאים ל

• איתור עצמים חופשי בווידאו

  זיהוי פריטים ספציפיים בקובץ וידאו לפי הגדרת טקסט חופשית, ללא צורך באימון מודל ייעודי.

• יצירת מסכות סגמנטציה

  חיתוך מדויק של עצמים מתוך תמונות על בסיס שילוב של זיהוי טקסטואלי ומודל EfficientSAM.

• בדיקת ספי ביטחון ו־IoU

  השוואת רגישות הזיהוי והדיוק של מודל YOLO-World על דוגמאות קיימות של תמונות ומדיה.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה נמצאת במצב שגיאה ולא נטענת. מעבר לזה, הממשק אינו מיועד לעיבוד קבצים כבדים בזמן אמת, והרצת וידאו פריים אחר פריים עם חיתוך של EfficientSAM תייצר צוואר בקבוק משמעותי על חומרה בסיסית.

איך משתמשים

בוחרים בלשונית של תמונה או וידאו, גוררים קובץ או בוחרים דוגמה, ומקלידים שמות עצמים. אפשר לפתוח את תפריט ההגדרות כדי לכוונן ספי סמך, IoU והפעלת סגמנטציה, ואז לוחצים על כפתור השליחה.

כרגע העמוד מדווח על שגיאת בנייה ולכן אי אפשר להריץ אותו ישירות בדפדפן. במקור הוא הוגדר לרוץ על מעבד גרפי מסוג t4-small, מה שאומר שעיבוד וידאו מלא עלול לקחת זמן ניכר פר פריים.

הרישיון

הקוד מפורסם תחת רישיון gpl-3.0. המשמעות היא שכל שימוש בקוד או נגזרות שלו מחייב שחרור של הקוד המלא תחת אותו רישיון פתוח, כולל התאמות שנעשות לשימוש מסחרי.

הרישיון המלא ב־Hugging Face ↗