DepthPro-hf
קוד פתוחappleapple-amlr2024-11-27
הוא מעריך עומק מטרי מדויק מתמונה בודדת בלי להסתמך על נתוני מצלמה. תקבלו מפת עומק חדה ברזולוציה גבוהה תוך שבריר שנייה.
- 952Mפרמטרים
- 1.8 GBמשקל הקבצים
- 24,602הורדות בחודש
- 110לייקים
מה זה
הארכיטקטורה מתבססת על מעבד מרובה קנה מידה שמפרק תמונה לחלקים, שולח אותם למודל Dinov2, ומאחד את התוצאות בשכבת מיזוג ייעודית. מעבר לעומק יחסי, הוא מחשב מרחקים אמיתיים במטרים ומנחש בעצמו את אורך המוקד של העדשה בלי שתצטרכו להזין קובצי כיול או נתוני EXIF.
במקום לקבל מפות מטושטשות בקצוות כמו במודלים ישנים, הוא שומר על גבולות גזירה חדים סביב עצמים דקים. הוא עושה את זה מהר, כשהוא מייצר מפת עומק של 2.25 מגה פיקסל בתוך 0.3 שניות על מאיץ גרפי סטנדרטי.
מתאים ל
- שחזור תלת ממד מתמונה
הוא מוציא מפת עומק מטרית מדויקת בלי צורך בכיול עדשה מוקדם.
- טשטוש רקע בצילום
ההפרדה החדה של הגבולות מאפשרת לחתוך אובייקטים בלי הילות סביבם.
- הערכת מרחקים לרובוטיקה
הוא מחשב מידות בסקאלה אמיתית מתוך מצלמה בודדת בתוך 0.3 שניות.
איפה זה נופל
ההסתמכות על רזולוציה קבועה של 1536 על 1536 דורשת שינוי גודל של התמונות בכניסה, מה שעלול לעוות יחסי גובה רוחב חריגים. בנוסף, הערכת העומק והמרחק המטרי תלויה לחלוטין בהערכת אורך המוקד שהרשת מייצרת בעצמה. כשההערכה הזו מפספסת, כל קנה המידה של הסצנה נשבר יחד איתה.
אותה משפחה
DepthPro יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
אפשר להשתמש בו ישירות באפליקציה מסחרית?
לא. הרישיון של אפל מגביל את השימוש למטרות מחקר בלבד. תצטרכו לחכות לשינוי תנאים או להשתמש בו לפיתוח פנימי ובדיקות.
חייבים לדעת באיזו מצלמה צולמה התמונה?
ממש לא. הרשת כוללת רכיב שמנחש את אורך המוקד ישירות מהפיקסלים, כך שאפשר להזין כל תמונה אקראית מהרשת.
איך מריצים
המשקל הכולל יושב על 1.8 גיגה בייט בדיוק של חצי דיוק, מה שאומר שאפשר להריץ אותו בלי בעיה על כרטיס מסך בסיסי עם 6 עד 8 גיגה זיכרון. הטעינה נעשית ישירות דרך ספריית transformers הרגילה בלי צורך בהתקנות מיוחדות.
התמונות נכנסות ברזולוציה קבועה של 1536 על 1536 פיקסלים אחרי נרמול. אם התשתית שלכם לא כוללת כרטיס גרפי זמין לעיבוד תמונה בזמן אמת, עדיף להריץ אותו דרך שרת מרוחק או נקודת קצה ייעודית במקום לחנוק מעבד רגיל.
from transformers import pipeline
pipe = pipeline("depth-estimation", model="apple/DepthPro-hf")
print(pipe("שלום"))הקבצים
8 קבצים במאגר, 1.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הרשמי הוא של אפל למחקר בלבד. אסור להשתמש במשקלים האלה בתוך מוצר מסחרי מניב או למכור גישה אליהם, כך שהם מיועדים כרגע לבדיקות היתכנות וניסויים פנימיים.