GPT
הוספת כלי
V

VGGT-1B

קוד פתוח

facebookcc-by-nc-4.02025-03-11

  • safetensors
  • model_hub_mixin
  • pytorch_model_hub_mixin
  • image-to-3d
  • en

מייצר גיאומטריה תלת ממדית שלמה מתמונות בודדות או ממאות זוויות שונות. מתאים למי שצריך עומק, ענני נקודות ופרמטרי מצלמה בלי לעבור אופטימיזציה ארוכה.

  • 1.3Bפרמטרים
  • 9.4 GBמשקל הקבצים
  • 431,764הורדות בחודש
  • 132לייקים

מה זה

מטא ואוניברסיטת אוקספורד בנו כאן ארכיטקטורת פיד פורוורד של 1.3 מיליארד פרמטרים שמחלצת גיאומטריה ישירות מתמונות. אתם מזינים תמונה אחת, כמה בודדות או אפילו מאות פריימים, והוא מחזיר בתוך שניות עומק, ענני נקודות, מעקב נקודות תלת ממדי וכיול מצלמה פנימי וחיצוני. בניגוד לשיטות קלאסיות שדורשות התאמות כבדות לכל סצנה, כאן מקבלים מענה ברשת אחת ישירה.

המשקל שלו, 9.4 ג'יגה בייט על חמישה קבצים, מציב אותו בנקודת איזון נוחה בין גודל לביצועים. התחום של שחזור תלת ממד מתמונות בדרך כלל סובל מזמני עיבוד ארוכים, אבל כאן המיקוד הוא על חיזוי ישיר ומהיר בלי שלבי ביניים מורכבים.

מתאים ל

  • כיול מצלמות וזוויות

    חילוץ מהיר של פרמטרים פנימיים וחיצוניים של המצלמה מתוך תמונות קיימות בלי מטרות כיול פיזיות.

  • שחזור תלת ממד לתצוגה

    יצירת מפות עומק וענני נקודות מכמה זוויות צילום תוך שניות בודדות לשימושי מחקר והדמיה.

  • מעקב נקודות במרחב

    חילוץ מסלולי נקודות תלת ממדיים על פני רצף תמונות בלי להריץ אלגוריתמי מעקב מסורתיים כבדים.

איפה זה נופל

כרטיס המודל לא מפרט נתוני דיוק מספריים או נקודות כשל ספציפיות, כך שתצטרכו לקרוא את המאמר או לבדוק בעצמכם על הדאטה שלכם. כשמייצרים גיאומטריה ישירות מרשת עצבית, תמיד יש סיכון להזיות של עומק באזורים עם מעט טקסטורה, החזרי אור או זוויות צילום קיצוניות. חובה לבדוק איך הוא מתמודד עם תאורה קשה לפני שסומכים על ענני הנקודות שלו בייצור.

שאלות
נפוצות

האם אפשר להשתמש בו במוצר מסחרי?

לא. הרישיון הוא cc-by-nc-4.0 והוא אוסר שימוש מסחרי מכל סוג. תצטרכו להגביל את השימוש למחקר, בדיקות פנימיות או אבטיפוס שלא מייצר הכנסות.

האם הוא מחליף תוכנות שחזור קלאסיות כמו פוטוגרמטריה?

הוא פותר את הבעיה בגישה שונה של חיזוי ישיר ברשת, מה שלוקח שניות בודדות במקום דקות או שעות. מצד שני, בדיוק גיאומטרי קפדני לקווי ייצור או מדידות הנדסיות, צריך לבדוק היטב את איכות ענני הנקודות מול הדרישות שלכם.

איך מריצים

עם גודל קבצים של 9.4 ג'יגה בייט, אתם חייבים כרטיס מסך ייעודי של לפחות 16 או 24 ג'יגה בייט זיכרון כדי להריץ אינפרנס יציב, במיוחד אם אתם מתכוונים לדחוף עשרות או מאות תמונות בבת אחת לסצנה אחת. הקוד עצמו יושב בריפו של פייסבוק מחקר, וצריך להוריד את המשקולות ולהרים את הסביבה מקומית.

אם אין לכם חומרה כזאת זמינה במשרד או בענן שלכם, או שאתם רק בודקים את ההתאמה לסוג התמונות שלכם, כדאי קודם להתנסות בספייס הקיים בחינם במקום להרים שרת ייעודי.

pip install -U huggingface_hub
hf download facebook/VGGT-1B

הקבצים

5 קבצים במאגר, 9.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא cc-by-nc-4.0, כלומר שימוש לא מסחרי בלבד עם מתן קרדיט. אם אתם בונים מוצר שנועד למכירה, מוטמע באפליקציה מסחרית או מייצר הכנסה, אסור לכם להשתמש בו ישירות. הוא מיועד למחקר, ניסויים פנימיים או בדיקת היתכנות.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗