SAGE-10k
קוד פתוחnvidiaapache-2.02025-12-31
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
עשרת אלפים חללים פנימיים תלת ממדיים שנוצרו אוטונומית לאימון סוכנים ורובוטיקה. הוא כולל אובייקטים אינטראקטיביים ומבנים מורכבים שחוסכים בנייה ידנית יקרה של סימולציות פיזיקליות.
- 384,090הורדות בחודש
- 84לייקים
מה זה
המאגר כולל 10,000 סצנות של חללי פנים בפיזור של 50 סוגי חדרים וסגנונות עיצוב שונים. בתוך הסצנות האלה משובצים 565 אלף אובייקטים תלת ממדיים ייחודיים שנוצרו באמצעות מודל TRELLIS. המבנה כולל פתרון התנגשויות פיזיקליות, שילוב של פריטים קטנים וסידור של אובייקטים אינטראקטיביים שמתאימים לסימולטורים פיזיקליים ולסביבות עבודה של בינה מלאכותית פיזית.
התוכן נוצר כולו בתהליך מבוסס סוכנים אוטונומיים שפותח במחקר של אנבידיה. הנתונים לא נאספו מסריקות של העולם האמיתי ולא עברו סינון ידני אנושי כלל, כך שהרמה והדיוק הוויזואלי משתנים בין החללים השונים. כל חלל שמור בתיקיית מזהה משלו ומכיל קובץ מבנה בפורמט JSON, מודלים וטקסטורות של האובייקטים, טקסטורות לקירות ולרצפה, ותיקיית תצוגה מקדימה.
מתאים ל
- אימון סוכנים בסימולציה
הרצת רובוטים וסוכנים בניווט ותפעול אובייקטים בתוך חללים פנימיים עם Isaac Sim.
- הבנת סצנות תלת ממד
פיתוח מודלים להערכת עומק, זיהוי מבנה חדר וסגמנטציה גאומטרית של חללים מורכבים.
- צימוד שפה ומבנה מרחבי
אימון מודלים לקישור בין פקודות טקסט באנגלית לבין מיקום חפצים ואינטראקציה פיזית איתם.
איפה זה נופל
כל הסצנות נוצרו בצורה אוטונומית לחלוטין ללא שום סינון ידני של בני אדם. החוקרים מציינים במפורש שאיכות הסצנות אינה אחידה, מה שעלול להוביל לפגמים מבניים, לעיוותים גאומטריים או לאי התאמות פיזיקליות. הנתונים מוגבלים לחללים פנימיים בלבד וכל התיעוד והטקסטים באנגלית. לפני שילוב בפרויקט אמיתי צריך לבדוק ידנית את איכות החפצים וההתנהגות שלהם בסימולציה כדי למנוע קריסות חישוביות.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
כן, הרישיון הוא Apache 2.0 והוא מתיר שימוש מסחרי מלא, כולל אימון מודלים למכירה. החובה היחידה היא לשמור על תנאי הייחוס וזכויות היוצרים של המפתחים המקוריים.
האם המאגר כולל תמיכה בעברית?
לא. הדאטהסט מוגדר באנגלית בלבד, וכל המבנה והנתונים מיועדים לחללים ולסביבות שפה באנגלית.
איך נאספו הנתונים?
הנתונים לא נסרקו מהעולם האמיתי אלא יוצרו באמצעות מערכת סוכנים אוטונומית של אנבידיה. האובייקטים בתוכו חושבו באמצעות מודל TRELLIS, והסצנות לא עברו בדיקה או סינון אנושי.
מה צריך כדי לטעון אותו לסביבת עבודה?
משתמשים בפקודת huggingface-cli ומורידים את הקבצים ישירות. לאחר מכן ניתן להיעזר בסקריפטים המצורפים כדי להמיר את המידע לפורמטים כמו USD או GLB ולטעון אותם לסימולטורים.
איך טוענים
ההורדה מתבצעת ישירות דרך huggingface-cli עם טוקן גישה רגיל לתיקייה מקומית, ללא צורך באישור ידני מיוחד. המאגר מכיל 10,018 קבצים, וקובץ הסקריפט המצורף בתיקיית הכלים מדגים המרה לקובצי GLB ו־USD, רינדור וידאו עם מסלול מצלמה וטעינה ישירה לתוך Isaac Sim. המידע הקריטי מרוכז בקובצי ה־JSON של כל סצנה לצד הגאומטריה של החפצים והחומרים.
from datasets import load_dataset
ds = load_dataset("nvidia/SAGE-10k")הרישיון
המאגר מופץ תחת רישיון Apache 2.0 המאפשר שימוש מסחרי ומחקרי חופשי, שינוי והפצה. התנאי המרכזי הוא מתן ייחוס מתאים לחוקרים ולאנבידיה. מודלים שתאמנו על בסיס הנתונים הזה אינם מחויבים בשיתוף תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים