marigold
רץ בדפדפןprs-ethapache-2.02023-12-07
הופך תמונה בודדת למפת עומק מפורטת באמצעות מודל דיפוזיה. מתאים למי שבונה סצנות תלת מימד, הדמיות או אפקטים חזותיים מתמונות רגילות.
- —הורדות בחודש
- 510לייקים
מה זה
אתם מעלים תמונה דו ממדית רגילה ומקבלים מפת עומק שמציגה את המרחקים של העצמים בסצנה. הממשק נשען על הרחבה בשם DualVisionApp ומציג דוגמאות מובנות מתוך מאגר מקומי, כשבכל עמוד מוצגות שתים עשרה דוגמאות שונות לבדיקה מהירה של יכולות העיבוד.
מאחורי הקלעים רץ המודל prs-eth/marigold-depth-v1-1 דרך ספריית diffusers עם MarigoldDepthPipeline ומתזמן מסוג DDIMScheduler. הרעיון שעומד בבסיס המחקר שהוצג ב־CVPR 2024 הוא הסבה של מודלי דיפוזיה ליצירת תמונות למשימה של ניתוח עומק מונקולרי. במקום לנחש גיאומטריה מאפס, הוא מנצל את ההבנה המרחבית שנצברה במודלי תמונה כדי לחלץ עומק מדויק.
בממשק עצמו אתם שולטים על מספר צעדי הניקוי מרעש, גודל האנסמבל שמשלב כמה מעברים לדיוק גבוה יותר, ורזולוציית העיבוד. ההגדרות האלה קובעות ישירות את רמת הפירוט של המפה שתיווצר.
מתאים ל
- הפקת מפות עומק לתלת מימד
המרת תמונות רגילות למפות עומק לצורך שחזור סצנות, הדפסה בתלת מימד או בניית מודלים.
- אפקטים חזותיים ועריכה
שימוש בנתוני המרחק כדי ליצור עומק שדה ממוחשב, טשטוש רקע ממוקד או הוספת שכבות תאורה מורכבות.
- בדיקת יכולות של המודל
בחינת איכות הפיצוח הגיאומטרי של ארכיטקטורת Marigold מול תמונות שלכם לפני שילוב בקוד דרך diffusers.
איפה זה נופל
הכלי מפיק מפות עומק מתמונה בודדת בלבד ואינו מתאים לווידאו, למרות שבשורת הקישורים מופיעים פרויקטים נפרדים של אותם חוקרים עבור וידאו או נתוני LiDAR. בנוסף, העלאת מספר הצעדים וגודל האנסמבל אמנם משפרת את הדיוק, אך מעמיסה מאוד על זמן הריצה בדפדפן. לא הייתי בונה על זה לעיבוד בזמן אמת בלי להוריד את המודל ישירות לקוד שלכם.
שאלות
נפוצות
האם השימוש באפליקציה הזאת כרוך בתשלום?
לא, הגישה דרך הדפדפן חופשית לחלוטין. היא פועלת ישירות ברשת ואינה דורשת תשלום או הזנת פרטי אשראי.
כמה זמן לוקח לקבל תוצאה?
זה תלוי בערכים שתבחרו עבור מספר צעדי הניקוי וגודל האנסמבל. המערכת רצה על מעבד a10g, כך שעיבוד בסיסי אורך מספר שניות, אך הגדרות גבוהות יאריכו את ההמתנה.
האם אפשר להריץ את זה באופן מקומי במחשב שלי?
כן, המודל prs-eth/marigold-depth-v1-1 נתמך בספריית diffusers של פייתון. קוד המקור זמין בגיטהאב ותחת רישיון apache-2.0 שמאפשר הרצה מקומית על החומרה שלכם.
במה האפליקציה שונה מהמודל עצמו?
האפליקציה היא ממשק גרפי מבוסס Gradio לבדיקה ידנית של תמונות בודדות. המודל עצמו הוא משקולות שניתן להטמיע בקוד בפרויקטים עצמאיים כדי לעבד כמויות גדולות של מידע באופן אוטומטי.
איך משתמשים
טוענים קובץ תמונה, קובעים את גודל האנסמבל, מספר צעדי ה־denoise ורזולוציית העיבוד בסליידרים, ולוחצים על הפעלה. העיבוד רץ על מאיץ גרפי zero-a10g שמספק כוח חישוב חזק יחסית, אבל בגלל השימוש במודל דיפוזיה ובאנסמבל של כמה מעברים, התהליך ייקח כמה שניות ולא יחזיר תוצאה מיידית. אין צורך בהרשמה או התחברות כדי להתחיל לעבוד.
הרישיון
הפרויקט כולו מופץ תחת רישיון apache-2.0. הרישיון מאפשר שימוש מסחרי, שינוי והפצה של הקוד והמודל, בכפוף לשמירה על תנאי הרישיון המקוריים ומתן קרדיט ליוצרים. המידע והתמונות שאתם מעלים מעובדים בהתאם למדיניות של השרת המארח.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים