depth-pro
רץ בדפדפןakhaliqרישיון לא דווח2024-10-04
הכלי מייצר מפת עומק מטרית מדויקת מתמונה בודדת ומעריך את אורך המוקד של המצלמה. הוא מתאים למי שצריך תלת-ממד מתמונות רגילות בלי נתוני כיול מראש.
- —הורדות בחודש
- 223לייקים
מה זה
מעלים תמונה רגילה ומקבלים מפת עומק הופכית לצד חישוב של אורך המוקד בפיקסלים. אם התמונה גדולה מדי, הממשק מקטין אותה אוטומטית לגודל של 1536 על 1536 פיקסלים לפני העיבוד. ברשימת הדוגמאות של הממשק יש תמונה של למור, שממחישה איך המודל מפריד בין פרווה דקה ורקע.
מאחורי הקלעים רץ המודל Depth Pro של אפל, שמבוסס על שילוב של שנאי ראייה רב-קנה-מידה. הוא אומן על שילוב של דאטה-סטים אמיתיים וסינתטיים כדי לתת הערכת מרחק אבסולוטית במטרים עם גבולות חדים מאוד, בלי להסתמך על מטא-דאטה של המצלמה.
מתאים ל
- הערכת עומק מתמונה
הפקת מפת עומק חדה מתמונה יחידה לצורך הפרדת אובייקטים וזיהוי מרחקים.
- שחזור אורך מוקד
חישוב אורך המוקד של העדשה בפיקסלים ישירות מתוכן התמונה, ללא נתוני EXIF.
- בדיקת איכות גבולות
בחינת יכולת המודל לזהות פרטים דקים ומורכבים כמו שיער או פרווה בתלת-ממד.
איפה זה נופל
ההדגמה הזאת מציגה רק מפת עומק הופכית כתמונה ואת אורך המוקד כטקסט, כך שלא מקבלים כאן קובץ עומק גולמי במטרים לשימוש תלת-ממדי ישיר. ההרצה על מעבד רגיל במקום כרטיס מסך מעוותת לגמרי את הביצועים המהירים של המודל המקורי. בנוסף, המודל במאגר הוא מימוש ייחוס שעבר אימון מחדש, והחוקרים מציינים שהביצועים שלו קרובים לתוצאות במאמר אך לא זהים להן לחלוטין.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה הזאת כרגע?
לא. האפליקציה נמצאת כרגע במצב מושהה בחשבון של היוצר. כדי להשתמש בה יש להמתין להפעלתה או לשכפל את המאגר ולהריץ אותו בחשבון שלכם.
כמה זמן לוקח לקבל תוצאה?
המודל תוכנן לעבוד תוך כ־0.3 שניות על מעבד גרפי סטנדרטי. כאן האפליקציה הוגדרה על מעבד בסיסי בלבד, ולכן זמן הריצה צפוי להיות ארוך בהרבה.
האם אפשר להריץ את המודל מקומית במחשב?
כן. הקוד זמין להתקנה באמצעות pip ו־conda, וניתן להריץ אותו משורת הפקודה או מתוך סקריפט פייתון עם קובצי המשקולות שמורידים בנפרד.
מה ההבדל בין האפליקציה למודל המקורי?
האפליקציה מקטינה תמונות גדולות לגודל של 1536 על 1536 פיקסלים ומציגה רק ייצוג חזותי של העומק. הרצה מקומית של המודל מאפשרת לחלץ את מערך העומק המטרי המלא במטרים.
איך משתמשים
השימוש פשוט, בוחרים תמונה מהמחשב או לוחצים על הדוגמה ולוחצים על שליחה. עם זאת, נכון לעכשיו האפליקציה נמצאת במצב מושהה ולא ניתן להריץ אותה ישירות בדפדפן בלי שהיוצר יפעיל אותה מחדש. בנוסף, היא מוגדרת על מעבד בסיסי, מה שאומר שגם כשהיא פועלת, זמן הריצה יהיה ארוך משמעותית מ־0.3 השניות שהמודל מסוגל להפיק על גבי מעבד גרפי ייעודי.
הרישיון
בעמוד האפליקציה לא דווח רישיון רשמי. בקוד המקור יש הפניה לקובצי רישיון נפרדים לקוד ולמשקולות של אפל, אך תנאיהם המדויקים לא צוינו כאן. כל עוד הרישיון בעמוד לא מוגדר, לא כדאי להעלות תמונות פרטיות או להסתמך עליו לפרויקטים מסחריים.