asset-harvester

קוד פתוח

nvidiaother2026-03-03

nvidia
asset-harvester
image-to-3d
3d-generation
gaussian-splatting

nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.

הפיכת צילומי נהיגה בודדים לאובייקטים תלת-ממדיים עבור סימולציות רכב אוטונומי. שרשרת מודלים שמייצרת קבצי 3D Gaussian Splatting מתמונות בודדות.

11.9 GBמשקל הקבצים
3,586הורדות בחודש
44לייקים

מה זה

צינור העבודה הזה נבנה במיוחד כדי לחלץ מכוניות, הולכי רגל ועצמי דרך מתוך נתוני נסיעה אמיתיים ולהפוך אותם לנכסי תלת-ממד שלמים. הוא מקבל בין תמונה אחת לארבע תמונות של אובייקט ברזולוציה של 512 על 512, מייצר 16 זוויות חדשות בעזרת מודל דיפוזיה, ואז מרים אותן למודל גאוסיאני מלא בעזרת מודל ייעודי.

בניגוד למחוללי תלת-ממד כלליים שמניחים תאורת סטודיו או אובייקט מבודד, המערכת הזו פותחה עבור תנאי שטח קשים של חיישני רכב, כולל זיהוי תנוחה של המצלמה כשאין מידע מקדים. הפלט הוא קובץ PLY בפורמט Gaussian Splatting שמתאים ישירות להטמעה בסימולציות.

מתאים ל

בניית סימולציות רכב
יצירת סביבות נהיגה עם תנועה אמיתית שנאספה מהכביש בלי למדל מחדש כל רכב ידנית.
ייצור דאטה סינתטי
הפקת וריאציות של הולכי רגל ועצמי דרך מזוויות שונות לאימון מודלי ראייה ממוחשבת.
שחזור אובייקטים מלוגים
חילוץ אוטומטי של עצמים מתוך מאגרי הקלטות של ציי רכב והפיכתם לנכסים דיגיטליים.

איפה זה נופל

המודל לא מתמודד טוב עם עצמים מוסתרים בכבדות או אובייקטים שחורגים מההתפלגות הרגילה בכביש. במצבים כאלה הוא מייצר הזיות או עיוותים גיאומטריים קשים, מה שהופך את התוצר לבלתי שמיש. אנבידיה מבהירה שאין כאן מאה אחוזי הצלחה, ואסור להסתמך על הנכסים האלה ישירות בבדיקות סימולציה שקריטיות לבטיחות בלי בדיקה אנושית.

שאלות
נפוצות

האם אפשר להריץ את המודל על כרטיס מסך ביתי?

לא. המערכת מחייבת לפחות 30 ג'יגה-בייט של זיכרון גרפי ותמיכה בארכיטקטורות מודרניות, כך שצריך כרטיס שרת כמו A100 או H100 כדי להריץ אותה בפועל.

איזה סוג קובץ מקבלים בסוף התהליך?

התוצר הוא קובץ PLY של 3D Gaussian Splatting, שמכיל פרמטרים גאוסיאניים של מיקום, שקיפות, גודל וסיבוב, ולא מודל פוליגונלי רגיל עם טקסטורה.

האם המערכת עובדת על כל תמונה כללית?

היא אומנה במיוחד עבור צילומי דרך, כלי רכב, הולכי רגל ורוכבים. עבור עצמים ביתיים או חפצים כלליים התוצאות כנראה יהיו פחות טובות.

איך מריצים

ההרצה דורשת שרת ייעודי חזק עם לינוקס. צריך כרטיס של אנבידיה עם יכולת חישוב 8.0 ומעלה בארכיטקטורות אמפר, הופר, בלקוול או לאבלייס, עם לפחות 30 ג'יגה-בייט זיכרון גרפי, רוחב פס של 768 ג'יגה-בייט לשנייה ולפחות 300 טרה-פלופס.

מבחינת המערכת, צריך מעבד עם 16 נימים ב־3 גיגה-הרץ, 32 ג'יגה-בייט של זיכרון עבודה ומאה ג'יגה-בייט פנויים בדיסק. ההרצה נעשית בפייתורץ' דרך הסקריפטים בגיטהאב, ואין כאן גרסה קלה יותר שרצה על חומרה ביתית פשוטה.

pip install -U huggingface_hub
hf download nvidia/asset-harvester

הקבצים

28 קבצים במאגר, 11.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא NVIDIA Open Model License Agreement, שמאפשר שימוש מסחרי ולא מסחרי. עם זאת, יש תנאים משפטיים ספציפיים של אנבידיה ואי אפשר להתייחס אליו כקוד פתוח מתירני רגיל, לכן מומלץ לבדוק את נוסח ההסכם המדויק מול המחלקה המשפטית לפני שילוב במוצר.

הרישיון המלא בעמוד המודל ↗