sam3d-body-rerun
רץ בדפדפןpablovela5620רישיון לא דווח2025-11-28
הכלי מפיק שחזור גוף תלת-ממדי מתמונות סטילס ומציג אותו בחלון אינטראקטיבי. הוא מתאים לחוקרים ולמפתחים שרוצים לבחון את השילוב בין המודלים של מטא לבין כלי הוויזואליזציה של Rerun.
- —הורדות בחודש
- 60לייקים
מה זה
אתם מעלים תמונת RGB רגילה של אדם, או בוחרים מתוך דוגמאות הקבצים שמגיעות עם המאגר. המערכת מחזירה שחזור תלת-ממדי של הגוף, מסיכות סגמנטציה, ואפשרות להציג גם עומק יחסי משוער בתוך ממשק צפייה חי.
מאחורי הקלעים רץ שילוב של מספר מודלים. facebook/sam3 אחראי על חיתוך וסגמנטציה לפי הנחיות, facebook/sam-3d-body-dinov3 מעבד את המידע לשחזור מבנה הגוף בתלת-ממד, והמודל MogeV1Predictor מתוך פרויקט monopriors מחשב את שדה הראייה והעומק היחסי. כל הנתונים האלה מוזרמים ישירות לתוך חלון Rerun מובנה בדפדפן.
מתאים ל
- בדיקת שחזור גוף מתמונה
הפקת רשת תלת-ממדית של אדם מתמונת סטילס יחידה לצורך בחינת דיוק התנוחה והפרופורציות.
- הערכת עומק יחסי לתמונות
בדיקת שכבות העומק המשוערות של גוף מתוך תמונה באמצעות שילוב מנוע החיזוי MogeV1.
- חיתוך מסיכות מונחה פרומפט
הפרדת חלקי גוף בתמונה באמצעות מודל SAM3 לקבלת שכבות בידוד מדויקות.
איפה זה נופל
ההדגמה הנוכחית לא עובדת ברשת עקב שגיאת שרת פנימית, כך שאי אפשר לבדוק אותה בלי התקנה עצמאית. בנוסף, המודלים דורשים משאבי חישוב כבדים מאוד, וכרטיס ברמת t4 עלול לעבוד לאט בעיבוד תמונות כבדות. השחזור מוגבל לגוף אדם בלבד ולא בונה סביבה שלמה סביבו. אם תרצו להריץ את הקוד אצלכם, תגלו שהמודלים של מטא דורשים אישור גישה ידני ולא פתוחים להורדה ישירה ללא הרשמה מראש.
שאלות
נפוצות
האם השימוש באפליקציה בחינם?
הגישה לעמוד בהאגינג פייס פתוחה ללא תשלום, אך כרגע הדף מושבת עקב תקלה טכנית. אם תרצו להוריד את הקוד למחשב שלכם, הפרויקט פתוח לחלוטין לשימוש עצמי. תצטרכו רק כרטיס מסך מתאים וחשבון מאושר להורדת המודלים.
האם אפשר להריץ את הפרויקט על המחשב בבית?
כן, הקוד בגיטהאב מאפשר הרצה מלאה דרך מנהל החבילות Pixi. כדי שזה יעבוד, המחשב חייב להריץ לינוקס ולהכיל כרטיס מסך מבית אנבידיה עם גרסת דרייברים מעודכנת. בנוסף, חובה להגדיר אסימון גישה אישי להורדת המשקולות של מטא.
במה הכלי הזה שונה מהמודל המקורי של מטא?
הפרויקט מחבר כמה מודלים נפרדים יחד ואינו מייצג מודל עצמאי חדש. הוא עוטף את SAM3D Body ואת SAM3 בממשק גרפי של Gradio ומציג את התוצאות בכלי הוויזואליזציה של Rerun. מטא סיפקה את רשתות הנוירונים, וכאן נבנה רק הממשק שמציג אותן על המסך.
איך משתמשים
כרגע אי אפשר להריץ את ההדגמה ישירות בדפדפן באתר, כי היא נמצאת במצב של שגיאת ריצה. באופן תקין, הממשק דורש העלאת תמונה, סימון נקודות או בחירת מסיכה, והפעלת החישוב על גבי שרת עם כרטיס מסך t4-medium. אם מריצים את הפרויקט מקומית, תצטרכו מערכת לינוקס, כרטיס מסך של אנבידיה עם תמיכה ב־CUDA גרסה 12.9 ומעלה, כלי ניהול חבילות Pixi, ואסימון גישה אישי מחשבון Hugging Face כדי למשוך את המשקולות הסגורות של מטא.
הרישיון
הרישיון של המאגר לא דווח ברישומי הפורטל, אך בתיעוד מצוין שקוד המאגר מחולק תחת Apache 2.0 ו־MIT. המודלים עצמם של מטא סגורים מאחורי דרישת אישור גישה ומחזיקים ברישיונות מקוריים נפרדים. כל עוד ההדגמה תקועה בשגיאה, קבצים שמעלים לא מעובדים בפועל.