yolos-tiny
קוד פתוחhustvlapache-2.02022-04-26
טרנספורמר קטנטן לזיהוי עצמים שתופס פחות מחמישים מגה בייט. מתאים למי שרוצה ארכיטקטורת ViT פשוטה בלי להתעסק ברשתות קונבולוציה מורכבות.
- 6Mפרמטרים
- 49.6 MBמשקל הקבצים
- 178,798הורדות בחודש
- 283לייקים
מה זה
מדובר במימוש של Vision Transformer טהור שהותאם לזיהוי עצמים בעזרת שיטת האימון של DETR, בלי תוספות מיוחדות של רשתות קונבולוציה. הוא אומן תחילה על ImageNet במשך 300 תקופות ואחר כך עבר כוונון עדין על COCO 2017 עם מאה שאילתות עצמים לתמונה. הרעיון כאן הוא פשטות מבנית, רצף טוקנים ישר שעובר שתים עשרה שכבות טרנספורמר ופולט קופסאות וסיווגים.
בגרסת הטיני הזו מקבלים 28.7 נקודות במדד הדיוק הממוצע על COCO. לשם השוואה, גרסת הבסיס מגיעה ל־42 נקודות, כך שברור שיש כאן פשרה חדה על איכות הזיהוי לטובת גודל מזערי של שישה וחצי מיליון פרמטרים. זה אומר שהוא מזהה עצמים בולטים וגדולים, אבל יפספס לא מעט פרטים מורכבים.
מתאים ל
- זיהוי בסיסי על מחשבי קצה
שוקל 50 מגה בייט ודורש מעט מאוד זיכרון, מושלם למכשירים מקומיים בלי כרטיס גרפי.
- ניסויי ארכיטקטורת ViT
מבנה טרנספורמר פשוט ונקי שקל לחקור ולשנות במהירות בלי זמני אימון ארוכים.
- סינון ראשוני בתמונות
יכול לשמש שכבה מהירה וזולה לבדיקה אם מופיע עצם כללי לפני שליחה למודל כבד.
איפה זה נופל
ציון של 28.7 נקודות דיוק אומר בפועל המון פספוסים וזיהויים שגויים, במיוחד כשיש עצמים קטנים או צפיפות בתמונה. הוא מוגבל מראש למאה עצמים לכל היותר בגלל מספר השאילתות הקבוע בארכיטקטורה. אל תבנו עליו למערכות שדורשות אמינות גבוהה כמו רפואה או נהיגה, כי הוא רחוק מהביצועים של מודלים גדולים יותר.
שאלות
נפוצות
האם המודל הזה מתאים לעבודה בזמן אמת?
כן, עם שישה וחצי מיליון פרמטרים הוא קל ומהיר מאוד בחישוב. עם זאת, יש לקחת בחשבון שארכיטקטורת טרנספורמר עלולה להיות פחות ממוטבת בחלק מספריות הקצה לעומת רשתות קונבולוציה קלאסיות.
מה המשמעות של הגבלת מאה השאילתות?
האלגוריתם מתוכנן לפלוט תמיד עד מאה ניחושים לתמונה, שמתוכם מסוננים הריקים. אם בסצנה נתונה יש מעל מאה עצמים שונים, המודל פשוט לא מסוגל טכנית לזהות את כולם.
איך מריצים
במשקל כולל של כ־50 מגה בייט ובדיוק נקודה צפה רגיל, הוא רץ בלי למצמץ על כמעט כל מעבד מודרני, אפילו בלי כרטיס מסך ייעודי. טוענים אותו ישירות דרך ספריית transformers בפייתון עם תמיכה מלאה ב־PyTorch, יחד עם חולץ המאפיינים התואם שלו.
בגודל כזה אין שום סיבה לשלם על קריאות שרת חיצוני או API. מריצים אותו מקומית על הברזלים שלכם, אפילו על שרת זול או מכשיר קצה, בלי תקורה של רשת וזמני השהיה מיותרים.
from transformers import pipeline
pipe = pipeline("object-detection", model="hustvl/yolos-tiny")
print(pipe("שלום"))הקבצים
6 קבצים במאגר, 49.6 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
רישיון apache-2.0 מתיר שימוש מסחרי חופשי לחלוטין, שינוי של הקוד והפצה מחדש. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי, בלי להטיל אחריות על המפתחים. אפשר לשלב אותו במוצר מסחרי סגור בלי לפתוח את הקוד שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים