HMR2.0
רץ בדפדפןbrjathuרישיון לא דווח2023-06-01
שחזור תלת ממד של גוף האדם מתוך תמונה בודדת עבור חוקרים ומפתחים. הממשק מזהה אנשים בפריים ובונה להם רשת גיאומטרית מלאה.
- —הורדות בחודש
- 82לייקים
מה זה
אתם מעלים תמונת סטילס רגילה של אדם או כמה אנשים, ומקבלים רינדור ויזואלי של הגופים בתלת ממד לצד קובץ להורדה עם הנתונים הגיאומטריים של הרשתות. הממשק כולל גם תמונות דוגמה מובנות שאפשר לטעון בלחיצה כדי לבדוק את התוצאה מיד.
מאחורי הקלעים רץ שילוב של שני מודלים כבדים. קודם כל Detectron2 עם VitDet מאתר את הגופים במרחב התמונה, ולאחר מכן מודל HMR 2.0 משחזר את תנוחת הגוף והמבנה התלת ממדי שלו. הקוד משתמש גם במרנדר ייעודי שמתאים את נקודת המבט של המצלמה חזרה לגודל הפריים המקורי.
מתאים ל
- הפקת רשתות תלת ממד מתמונה
חילוץ קובץ גיאומטרי של גוף אנושי מתוך תמונת סטילס להמשך עבודה בתוכנות גרפיקה.
- בדיקת איכות הזיהוי של HMR2
בחינת הדיוק של שחזור התנוחה על צילומים מורכבים עם ספי זיהוי שונים.
- מחקר בתחום ראייה ממוחשבת
הערכת היכולת של המודל להתמודד עם כמה אנשים בפריים בו זמנית.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה פשוט לא עובדת ברשת כרגע ומדווחת על תקלה. מעבר לזה, הממשק מחזיר קובץ רשתות אחד ותמונה, בלי אפשרות לסובב את המודל בחלל תלת ממדי אינטראקטיבי ישירות בדפדפן. בנוסף, אם הזיהוי הראשוני של גוף האדם נכשל בסף שנקבע, שחזור התלת ממד לא יתחיל כלל.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
הגישה לממשק באתר היא ללא תשלום ואין צורך במנוי כדי להשתמש בו. עם זאת, נכון לעכשיו הוא מושבת בגלל שגיאת ריצה. אם הוא יתוקן, תוכלו להריץ בו בדיקות בחופשיות.
מה קורה עם התמונות שמעלים לשם?
התמונות מעובדות בקוד המקור דרך תיקיות זמניות בשרת שמריץ את הממשק. היות שלא פורסם רישיון מסודר או פירוט תנאי שימוש, אין דרך לדעת אם הקבצים נמחקים מיד או נשמרים לצרכים פנימיים. מומלץ לא להעלות לשם תמונות רגישות או פרטיות.
האם אפשר לקחת את הקוד ולהריץ אותו מקומית?
הקוד בנוי בעזרת ספריות מוכרות כמו PyTorch ו־Detectron2, כך שטכנית אפשר להוריד את הקבצים ולהתקין את הדרישות במחשב שלכם. תצטרכו כרטיס מסך מתאים וסביבת פייתון מוגדרת היטב. מכיוון שאין רישיון מוגדר, מותר להשתמש בזה רק לניסויים אישיים ולא במוצר מסחרי.
במה הממשק הזה שונה משימוש ישיר במודל?
הממשק עוטף את כל שרשרת הפעולות לתוך עמוד אינטרנט אחד פשוט עם כפתור הרצה. הוא מחבר מראש את שלב איתור האנשים עם שלב השחזור והרינדור לתמונה סופית. עבודה ישירה מול המודל בקוד דורשת מכם לנהל את כל השלבים האלה לבד, אבל נותנת שליטה מלאה בפרמטרים.
איך משתמשים
טוענים תמונה לחלון הקלט, מכוונים את סף הזיהוי בסליידר שנע בין 0 ל־1 ומוגדר כברירת מחדל על 0.6, ולוחצים על כפתור ההרצה. המערכת מוגדרת לרוץ על מעבד גרפי מסוג t4-small, אבל נכון לעכשיו היא נמצאת במצב של שגיאת ריצה ולא תגיב. אם העמוד יחזור לעבוד, העיבוד על חומרה כזו לתמונה בודדת אמור לקחת שניות בודדות.
הרישיון
היוצר לא הגדיר רישיון רשמי לפרויקט הזה. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בתוצרים, ולא ידוע מה מדיניות השמירה של התמונות שאתם מעלים לשרת.