TriplaneGaussian — הדגמה
קוד פתוחVAST-AIapache-2.02024-01-05
מעלים תמונה אחת ומקבלים שחזור תלת ממדי שמבוסס על גאוסיאנים. זה מיועד למי שרוצה לבדוק יצירת מודלים מהירה מתמונות בודדות.
- 994 MBמשקל הקבצים
- —הורדות בחודש
- 242לייקים
מה זה
אתם מעלים תמונת RGB בודדת בגודל 512 על 512 פיקסלים, או בוחרים מתוך דוגמאות מוכנות מראש. הקוד משתמש ב־SAM כדי להסיר את הרקע ולבודד את האובייקט, ואז מריץ את מודל השחזור שמפיק ייצוג תלת ממדי של Gaussian Splatting.
בצד של התוצאות מקבלים את התמונה המפולחת ללא הרקע וסרטון וידאו שמציג רינדור של האובייקט בסיבוב. מתחת למכסה המנוע רץ המודל zouzx/TriplaneGaussian עם משקולות בשם tgs_lvis_100v_rel.ckpt, תוך שילוב רכיב תצוגה ייעודי מבוסס gradio-splatting.
מתאים ל
- שחזור תלת ממד מתמונה
יצירת סרטון תלת ממדי מסתובב מתוך תמונה בודדת עם אובייקט ברור.
- חיתוך אוטומטי של רקע
בדיקת יכולת הבידוד של מודל SAM על אובייקטים בתמונות קלט.
- בחינת טכנולוגיית TGS
בדיקת ביצועי שיטת ה־Triplane Gaussian על דוגמאות חזותיות שונות.
איפה זה נופל
הבעיה המרכזית כרגע היא שההדגמה שבורה ולא עולה בגלל תקלת ריצה. מעבר לזה, המודל מוגבל לאובייקט יחיד מבודד ומסתמך לחלוטין על כך ששלב הקיצוץ האוטומטי יצליח. אם תעלו תמונה עם רקע עמוס או זוויות קשות, איכות השחזור תיפגע מיד, והתוצר בדף הוא וידאו מרונדר ולא קובץ תלת ממד להורדה ישירה.
שאלות
נפוצות
האם האפליקציה זמינה לשימוש כרגע?
לא, כרגע הדף מדווח על שגיאת ריצה. עד שהמפתחים לא יעדכנו את הקוד או את סביבת הדוקר, אי אפשר להריץ שחזורים חדשים דרך הדפדפן. שווה לבדוק שוב מאוחר יותר אם הם יתקנו את השרת.
כמה עולה להשתמש בה?
השימוש בממשק עצמו מוצע בחינם דרך האגף הציבורי. אין צורך לשלם על זמן הריצה של השרת בזמן שההדגמה פועלת. עם זאת, אין התחייבות לזמינות קבועה של החומרה.
האם אפשר להריץ את זה מקומית?
כן, הקוד מושך את המודל ישירות מהמאגר של zouzx/TriplaneGaussian. תצטרכו כרטיס מסך מתאים עם זיכרון מספק, התקנה של דוקר או סביבת פייתון עם התלויות הרלוונטיות, וטוקן גישה להורדת המשקולות.
מה קורה לתמונות שמעלים לממשק?
התמונות נשלחות לשרת המארח של הדמו ונשמרות שם זמנית לצורך העיבוד והרינדור. מאחר שלא פורסמו תנאי שימוש או פירוט על שמירת מידע, עדיף לא להעלות תמונות רגישות או קבצים פרטיים.
איך מריצים
בממשק מעלים קובץ, מכוונים את מרחק המצלמה בעזרת סליידר בין 1.0 ל־4.0, ולוחצים על כפתור Reconstruction. ההדגמה הוגדרה לרוץ על מעבד גרפי מסוג A10G Large בתוך קונטיינר של דוקר, מה שאמור לספק תוצאה תוך שניות בודדות. כרגע לא תצליחו להריץ אותה בדפדפן כי המופע נמצא במצב של שגיאת ריצה.
pip install -U huggingface_hub hf download VAST-AI/TriplaneGaussian
הקבצים
3 קבצים במאגר, 994 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון של היישום לא דווח במאגר. בלי רישיון מוגדר אסור להניח שאפשר להשתמש בקוד, במשקולות המודל או בתוצרים לצרכים מסחריים, ומומלץ לבדוק את תנאי השימוש של המודל המקורי לפני שמעלים תמונות פרטיות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים