detr-resnet-101

מה זה

הארכיטקטורה משלבת רשת קונבולוציה מסוג ResNet-101 שמוציאה מאפיינים מהתמונה, יחד עם טרנספורמר מסוג אנקודר-דקודר בעל 6 שכבות. מעל הדקודר יושבים שני ראשים נפרדים, אחד לחיזוי סיווג התוויות ואחד למיקומי התיחום של האובייקטים. הרעיון פה הוא שימוש במאה שאילתות קבועות שרצות במקביל על התמונה, כאשר אלגוריתם הונגרי מבצע התאמה ישירה בין התחזיות לתיוגים האמיתיים בזמן האימון.

הוא אומן על מאגר COCO 2017 שמכיל 118 אלף תמונות מתויגות, והגיע לתוצאה של 43.5 במדד average precision על סט הוולידציה. זה אומר שהוא מזהה בדיוק סביר מגוון עצמים יומיומיים מתוך התיוגים המוכרים של COCO, אבל מוגבל למאה אובייקטים לכל היותר בתמונה אחת בגלל מבנה השאילתות הקבוע מראש.

מתאים ל

• זיהוי פריטים בתמונות בודדות

  מזהה ומאתר עד מאה אובייקטים בפורמט COCO מקצה לקצה בלי צורך באלגוריתם סינון חיצוני.

• הרצה על שרתים פנימיים

  גודל קבצים של 463 מגה-בייט מאפשר הטמעה ישירה בתוך שרת קיים בלי צורך בחומרה כבדה.

• אימון המשך למשימות ייעודיות

  נקודת מוצא מוכנה שמשלבת משקלי ResNet-101 וטרנספורמר שכבר אומנו 300 אפוקים על תמונות מגוונות.

איפה זה נופל

המגבלה המרכזית היא תקרת מאה האובייקטים לתמונה. אם יש לכם סצנה צפופה מאוד עם המוני פריטים קטנים, המודל פשוט לא בנוי להחזיר מעבר למאה שאילתות. בנוסף, האימון נעשה אך ורק על המחלקות המוגדרות של COCO, כך שזיהוי תחומים ייעודיים ידרוש אימון המשך. הכרטיס גם מציין שצוות הפיתוח המקורי של פייסבוק לא כתב את התיעוד הרשמי בעצמו, אלא אנשי Hugging Face, כך שחסרים פרטים ספציפיים לגבי התנהגויות קצה מסוימות.

איך מריצים

במשקל כולל של 463 מגה-בייט ועם כשישים ואחד מיליון פרמטרים, קל מאוד להריץ אותו ישירות מקוד פייתון דרך transformers של Hugging Face. המודל תומך ב־PyTorch ודורש עיבוד מוקדם שמשנה את גודל התמונה כך שהצלע הקצרה תהיה לפחות 800 פיקסלים והארוכה לכל היותר 1333 פיקסלים, לצד נרמול ערוצי צבע.

בגלל הגודל הצנוע יחסית, הוא רץ בלי בעיה על מעבד גרפי ביתי סטנדרטי ואפילו על מעבד רגיל אם זמן התגובה פחות קריטי לכם. פחות משתלם לפנות לפתרונות ענן מרוחקים כשאפשר לטעון קובץ בודד כזה מקומית בלי תקורת תקשורת מיותרת.

from transformers import pipeline

pipe = pipeline("object-detection", model="facebook/detr-resnet-101")
print(pipe("שלום"))

הקבצים

6 קבצים במאגר, 463 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin243.0 MB
• model.safetensors242.8 MB
• README.md5.9 KB
• config.json4.4 KB
• .gitattributes744 B
• preprocessor_config.json255 B

הרישיון

רישיון apache-2.0 מתיר שימוש חופשי לחלוטין, כולל שימוש מסחרי, שינוי הקוד והפצה של המודל כחלק ממוצר שלכם. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים וציון הרישיון המקורי, בלי חובה לחשוף את הקוד שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗