vggsfm

מה זה

מעלים סרטון וידאו או סדרה של תמונות בודדות, והממשק מחזיר מודל תלת ממדי שמציג ענן נקודות יחד עם מיקומי המצלמות שצילמו את הסצנה. הפלט מוצג כקובץ GLB שאפשר לסובב ולהגדיל ישירות בדפדפן, לצד יומן ריצה טקסטואלי.

מאחורי הקלעים רץ המודל facebook/VGGSfM, שמבצע Structure from Motion מבוסס למידה עמוקה כדי להעריך נקודות מפתח גיאומטריות ולחשב זוויות צילום. המערכת כוללת דוגמאות מובנות מראש כמו תפוח, בונסאי, מוזיאון, פסל, עוגה, פנים וחדר מטבח, שמציגות את השחזור מתוך וידאו או תמונות ללא צורך בהרצה חדשה.

מתאים ל

• הערכת תנוחת מצלמה

  חישוב מיקום המצלמה בזוויות שונות מתוך רצף תמונות של חפץ או חדר.

• בדיקת איכות שחזור

  צפייה בתוצאות ענן נקודות על סצנות מובנות מראש כדי להעריך את יכולות המודל.

• חילוץ ענן נקודות ראשוני

  הפקת קובץ תלת ממדי בסיסי מסרטון קצר לצורך ניתוח גיאומטרי במחקר ראייה ממוחשבת.

איפה זה נופל

ההדגמה מוגבלת מאוד בהיקף שלה ומאפשרת לבחור עד עשר תמונות מפתח בלבד, מה שלא יספיק לסריקה של מבנים מורכבים או סצנות רחבות. בנוסף, הממשק מספק ענן נקודות דליל בלבד ולא רשת תלת ממדית חלקה או טקסטורה מוכנה להדפסה, כך שהוא לא מתאים למי שמחפש קובץ תלת ממד מוגמר. הדוגמאות השמורות מראש נראות טוב, אך הן לא מעידות על איכות הפלט בסרטונים ביתיים שצולמו באיכות נמוכה או בתנועה מהירה.

איך משתמשים

בוחרים אם להעלות קובץ וידאו או כמה תמונות יחד, וקובעים שני פרמטרים פשוטים בסליידרים: מספר תמונות מפתח בין אחת לעשר, וכמות נקודות הדגימה בין 600 ל־6,000. לחיצה על Reconstruct מתחילה את העיבוד ומציגה לוג של התהליך. בפועל, כרגע הדף במצב מושהה על חומרת מעבד בסיסית, כך שאי אפשר להריץ עליו קבצים חדשים אלא אם יוזם הדף יפעיל אותו מחדש.

הרישיון

הפרויקט מפורסם תחת רישיון cc-by-nc-4.0. המשמעות היא שהשימוש בקוד ובתוצרים מוגבל לצרכים מחקריים, לימודיים או אישיים בלבד, וחל איסור מוחלט על שימוש מסחרי.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗