dpt-hybrid-midas

מה זה

מדובר במימוש של ארכיטקטורת DPT שמשתמשת בגב היברידי מסוג ViT בשילוב שכבות קונבולוציה וצוואר ייעודי לחיזוי צפיפות. הוא אומן על מאגר MIX 6 שכולל כ־1.4 מיליון תמונות ממקורות שונים, עם משקולות התחלתיות של ImageNet, במטרה לתת תוצאות טובות על תמונות חדשות בלי כיול מוקדם.

בבדיקות השוואה של אפס דוגמאות מול MiDaS המקורי, הוא מציג שגיאה נמוכה יותר באופן עקבי במגוון מבחנים, כולל ירידה של כ־27.6% במדד AbsRel ב־ETH3D ושיפור של מעל 51% במדד השגיאה של KITTI. הגרסה ההיברידית כמעט משתווה לגרסה הגדולה, DPT Large, אך דורשת פחות משאבים ממנה בזכות שילוב תכונות ישירות מהגב של הרשת.

מתאים ל

• הערכת עומק מתמונה בודדת

  מאפשר לייצר מפת עומק יחסית מתמונה אחת בלי צורך בחיישני לייזר או מצלמות סטריאו.

• טשטוש רקע בעיבוד תמונה

  מייצר הפרדה יעילה בין אובייקטים מקדימה לרקע בזכות שילוב שכבות הקונבולוציה של המודל.

• בסיס לאימון מותאם אישית

  מתאים כנקודת מוצא לכוונון עדין למשימות ראייה ממוחשבת ספציפיות בזכות אימון על 1.4 מיליון תמונות.

איפה זה נופל

המודל מנחש עומק יחסי מתמונה יחידה ולא מודד מרחקים מדויקים במטרים, ולכן הוא לא מתאים למערכות קריטיות או בטיחותיות. בתיעוד מצוין במפורש שאין להשתמש בו לקבלת החלטות שנוגעות לחיי אדם, ושהיקף הסיכונים וההטיות שלו לא נבדק במלואו. בנוסף, הוא אומן על חיתוכים בגודל 384 על 384, כך שפרטים עדינים מאוד עלולים ללכת לאיבוד, וברוב המקרים תידרשו לבצע כוונון עדין למשימה הספציפית שלכם.

איך מריצים

המשקל הכולל של הקבצים עומד על 467 מגה־בייט בלבד, מה שהופך את ההרצה שלו לקלה במיוחד. אפשר להריץ אותו דרך ספריית transformers ישירות על מעבד מודרני בלי להזיע, ובבדיקות של החוקרים השתמשו במעבד Intel Xeon Platinum 8280 עם כרטיס RTX 2080.

התמונות עוברות שינוי גודל לצלע ארוכה של 384 פיקסלים לפני העיבוד. בגלל המשקל הנמוך שלו, אין שום סיבה אמיתית לשלם על API חיצוני, אלא אם אתם בונים שירות שצריך לטפל באלפי קריאות במקביל ואין לכם שרת ייעודי זמין.

from transformers import pipeline

pipe = pipeline("depth-estimation", model="Intel/dpt-hybrid-midas")
print(pipe("שלום"))

הקבצים

5 קבצים במאגר, 467 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin489.6 MB
• config.json9.9 KB
• README.md7.8 KB
• .gitattributes1.5 KB
• preprocessor_config.json382 B

הרישיון

הרישיון הוא Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה חופשית בתוך מוצרים סגורים, בלי צורך לחשוף את הקוד שלכם. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים המקורית והצהרת ויתור אחריות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗