PatchFusion
רץ בדפדפןzhyevermit2023-12-08
הכלי מפיק מפת עומק ברזולוציה גבוהה מתמונה בודדת. הוא מיועד לחוקרים ולמפתחים שרוצים לבדוק הערכת עומק עד רמת ארבע קיי בלי לחבר חומרה מקומית.
- —הורדות בחודש
- 59לייקים
מה זה
אתם מעלים תמונה רגילה ומקבלים מפת עומק צבועה לצד קובץ נתונים גולמי של 16 ביט. הממשק מציג גם תוצאה גסה וגם תוצאה מעובדת סופית, וכולל סליידר להשוואה חזותית בין התמונות.
מאחורי הקלעים רץ המודל PatchFusion שפותח עבור מאמר בסי וי פי אר 2024. הוא משתמש בגישה שמחלקת את התמונה למקטעים כדי לחלץ עומק מפורט, בשילוב מודלים כמו ZoeDepth ומשפחת Depth Anything של ליחה יאנג.
בדוגמאות המוכנות מראש אפשר לראות שלוש תמונות שמגיעות ישירות עם התוצאה הגסה והתוצאה המעובדת, כך שרואים מראש איך החלוקה למקטעים משפרת את הדיוק.
מתאים ל
- הערכת עומק ברזולוציית 4K
הפקת מפות עומק מפורטות מתמונות חדות בלי לאבד פרטים עדינים בתהליך ההקטנה.
- הורדת מפות עומק 16 ביט
קבלת קובץ עומק מטרי גולמי לשימוש ישיר במנועי תלת ממד או בעיבוד נתונים הנדסי.
- השוואת שיטות חלוקה
בדיקת ההבדל באיכות התוצאה בין עיבוד מהיר מבוסס רשת לבין דגימת מקטעים אקראית.
איפה זה נופל
הבעיה המרכזית כרגע היא שההדגמה במצב שגיאת זמן ריצה, כך שאי אפשר להריץ עליה תמונות חדשות בכלל אלא רק לצפות בדוגמאות השמורות.
מעבר לכך, עיבוד ברזולוציות של ארבע קיי עם מאתיים חמישים ושישה מקטעים במצב האיכותי דורש כוח חישוב כבד, ובממשק מקוון זה עלול לקחת זמן רב או לקרוס תחת עומס הזיכרון.
שאלות
נפוצות
האם הכלי עובד כרגע בחינם בדפדפן?
הגישה פתוחה בחינם, אבל כרגע האפליקציה במצב תקלה טכנית ולא מגיבה להעלאות חדשות. אפשר לצפות רק בדוגמאות שנטענו מראש בממשק.
כמה זמן לוקח לעבד תמונה?
העיבוד מתבצע על מאיץ איי עשר גי סמול, אך זמן הריצה תלוי לחלוטין ברזולוציה ובמצב שתבחרו. מצב מהיר מסיים מהר יותר, בעוד דגימה של מאתיים חמישים ושישה מקטעים כבדה בהרבה.
האם אפשר להריץ את זה על המחשב שלי?
כן, הקוד פתוח תחת רישיון MIT וניתן להוריד את המשקולות והסקריפטים של פאץ' פיוז'ן ממאגר הגיטהאב או האפינג פייס. תצטרכו כרטיס מסך מתאים עם מספיק זיכרון כדי לעבד תמונות גדולות.
במה הדמו שונה מהרצת המודל ישירות בקוד?
הדמו מקבע מראש את גרסת המשקולות של דפת' אנית'ינג ומציע ממשק גרפי מוגבל. בקוד יש לכם גישה למשקלים נוספים, כולל גרסאות שונות של זואי דפת' ושליטה מלאה בצינור העיבוד.
איך משתמשים
גוררים תמונה למשבצת הקלט, משנים הגדרות מתקדמות אם רוצים, ולוחצים על הכפתור סבמיט. באפשרויות אפשר לשנות את רזולוציית העיבוד עד 3840 על 2160, לבחור מפת צבעים, ולקבוע את אופן חלוקת המקטעים בין עיבוד מהיר לאיכותי.
ההדגמה מוגדרת לרוץ על מאיץ גרפי מסוג איי עשר גי סמול, מה שאמור לספק ביצועים סבירים לעיבוד אריחים, אך כרגע הדף מדווח על שגיאת זמן ריצה ולא מבצע חישובים חדשים.
הרישיון
הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי בקוד ובמודל גם לצרכים מסחריים. אין הצהרת פרטיות ייעודית בממשק, ולכן קבצים שמעלים לענן עשויים להיות חשופים ברשת ואינם מוגנים בסודיות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש