stevengrove/YOLO-World

מה זה

מעלים תמונה ומגדירים בטקסט אילו עצמים לחפש, בלי להיות מוגבלים לקטגוריות קבועות מראש. הפלט כולל את התמונה עם תיבות סימון סביב העצמים שנמצאו, תוויות מתאימות, ואפשרות לייצא קובץ מודל בפורמט ONNX להטמעה עצמאית.

מאחורי הקלעים שילבו כאן ראייה ממוחשבת מבוססת YOLOv5 יחד עם מודל השפה והתמונה clip-vit-base-patch32 של OpenAI. השילוב הזה, בעזרת רשת בשם RepVL-PAN, ממיר מילים ישירות למשקולות בתוך המודל, ומאפשר לאתר מגוון עצמים באפס מאמץ על בסיס אימון מוקדם של מאגרי ענק.

מתאים ל

• זיהוי עצמים מותאם אישית

  מציאת פריטים חריגים בתמונות לפי הגדרת טקסט חופשית, בלי צורך לאסוף דאטה ולאמן רשת מאפס.

• ייצוא מודל לקובץ ONNX

  הורדת משקולות מותאמות למילים שהגדרתם כדי להריץ אותן ישירות ביישום חיצוני.

• בדיקת ביצועים לזיהוי מהיר

  בחינת יכולות המודל והדיוק שלו בזמן אמת מול אלגוריתמים ישנים יותר.

איפה זה נופל

הבעיה המיידית היא שהשרת קרס ואינו זמין לשימוש. מעבר לזה, המודלים האלה מבוססים על אנגלית בלבד, וזיהוי תיאורים בעברית ייכשל. הממשק גם לא מתאים לסרטוני וידאו אלא לתמונות בלבד, ואי אפשר להסתמך עליו למערכות ייצור לפני שבודקים את הביצועים המדויקים על החומרה שלכם.

איך משתמשים

כרגע אי אפשר להריץ את ההדגמה הזו בדפדפן מפני שהיא נמצאת במצב שגיאת ריצה (RUNTIME_ERROR). באופן עקרוני מדובר בממשק Gradio שבו גוררים תמונה, מקלידים מילים ולוחצים להרצה. החומרה שמוקצית לו בהגדרות היא מעבד גרפי מסוג t4-small, כך שאם וכאשר הוא יחזור לפעול, זמן העיבוד לתמונה בודדת אמור להיות קצר מאוד.

הרישיון

בהגדרות של המרחב מצוין רישיון מסוג apache-2.0, אבל בתיעוד הפרויקט עצמו נכתב שהקוד תחת GPL-v3. שניהם מתירים שימוש מסחרי, אך GPL-v3 מחייב פתיחת קוד בנגזרות. החומר לא מפרט מה קורה לתמונות המועלות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗