GPT
D

Depth-Anything-V2-Small-hf

קוד פתוח

depth-anythingapache-2.02024-06-18

  • transformers
  • safetensors
  • depth_anything
  • depth-estimation
  • depth

מודל הערכת עומק מתמונה בודדת ששוקל פחות ממאה מגהבייט. הוא מספק תוצאות חדות ומהירות פי עשרה ממודלים שמבוססים על דיפוזיה.

  • 25Mפרמטרים
  • 94.6 MBמשקל הקבצים
  • 1,752,152הורדות בחודש
  • 48לייקים

מה זה

מדובר בגרסה הקטנה של Depth Anything V2, שמפיקה מפות עומק מתמונות דו ממדיות בלי צורך במידע מחיישנים נוספים. המודל בנוי על ארכיטקטורת DPT יחד עם שלד של DINOv2, והוא אומן על שילוב של כמעט 600 אלף תמונות סינתטיות מתויגות ויותר משישים ושניים מיליון תמונות אמיתיות ללא תיוג, בעזרת מודל מורה גדול יותר.

התוצאה של תהליך האימון הזה מורגשת בפרטים הקטנים. בהשוואה לגרסה הראשונה הוא תופס גבולות דקים ופרטים עדינים בצורה נקייה יותר, ובמבחן המעשי מול חלופות מבוססות דיפוזיה כמו Marigold או Geowizard, הוא רץ פי עשרה מהר יותר ולא דורש כוח חישוב כבד כדי לייצר מפת עומק יציבה.

מתאים ל

  • הפרדת רקע בווידאו או תמונות

    מייצר מפות עומק ברורות שמסייעות לטשטוש רקע או חיתוך אובייקטים בזמן קצר מאוד.

  • עיבוד תמונה במכשירי קצה

    רץ מצוין על מעבדים פשוטים וחומרה חלשה בזכות משקל נמוך של 95 מגהבייט בלבד.

  • הכנת מפות עומק לגרפיקה

    מספק קלט מהיר ליצירת אפקטים תלת ממדיים ומשחקים ישירות מתוך תמונות קיימות.

איפה זה נופל

המודל מחזיר מפת עומק יחסית ולא מדידה מטרית מדויקת בסנטימטרים, אלא אם מבצעים כיול מתאים או פיין טיונינג. בנוסף, מדובר בגרסת ה־Small, כך שאם אתם עובדים על סצנות מורכבות במיוחד עם השתקפויות קשות או עצמים זעירים וצפופים, הדגמים הגדולים יותר בסדרה יתנו הפרדה טובה יותר.

אותה משפחה

Depth-Anything-V2-Small יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

שאלות
נפוצות

האם המודל נותן מרחק מדויק במטרים מהמצלמה?

לא באופן ישיר. המודל מתמחה בהערכת עומק יחסית בין עצמים בתמונה, ומבדיל מה קרוב ומה רחוק. כדי לקבל עומק מוחלט ומדויק ביחידות מידה נדרש עיבוד נוסף או אימון ייעודי.

האם חייבים מעבד גרפי כדי להריץ אותו?

ממש לא. בגלל שיש לו רק 25 מיליון פרמטרים, אפשר להריץ אותו ישירות על מעבד של מחשב רגיל ולקבל תוצאות מהירות בלי להחזיק כרטיס יקר.

איך מריצים

ההרצה פשוטה מאוד ועוברת דרך ספריית transformers הרגילה של פייתון, בפייפליין של שורות בודדות או ישירות דרך המחלקות של המודל והמעבד. עם 25 מיליון פרמטרים ומשקל קבצים של 94.6 מגהבייט בלבד, הוא ירוץ בקלות על מעבד רגיל, על לפטופ בלי כרטיס גרפי ייעודי, או על שרת מינימלי.

במשקל כזה אין שום סיבה לשלם ל־API חיצוני או להוציא כסף על שרתים מנופחים. אתם מורידים את המשקלים מקומית, מעבירים תמונה ברזולוציה הרצויה ומקבלים מפת עומק כמעט מיידית, גם בסביבות קצה או שרתים חלשים.

from transformers import pipeline

pipe = pipeline("depth-estimation", model="depth-anything/Depth-Anything-V2-Small-hf")
print(pipe("שלום"))

הקבצים

5 קבצים במאגר, 94.6 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהטמיע אותו במוצרים פנימיים או חיצוניים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗