GPT
הוספת כלי
G

GR00T-N1.5-3B

קוד פתוח

nvidiaרישיון לא דווח2025-05-28

  • safetensors
  • gr00t_n1_5
  • robotics

nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.

מודל בסיס רב-מודאלי שממיר תמונות מצלמה, טקסט ומצב מפרקים ישירות לפקודות תנועה עבור רובוטים דמויי אדם. פתרון מתאים למי שמחפש בקרת תנועה רציפה מבוססת ראייה.

  • 2.7Bפרמטרים
  • 5.1 GBמשקל הקבצים
  • 1,304הורדות בחודש
  • 197לייקים

מה זה

המודל פועל כמודל שליטה בתנועה לרובוטיקה. הוא מקבל תמונות RGB ממספר מצלמות ברזולוציה של 224 על 224, הנחיה טקסטואלית, ווקטור מצב נוכחי של הרובוט, ופולט רצף פעולות מוטוריות רציפות. המבנה שלו משלב מודל ראייה SigLip2, מקודד טקסט T5, ומודל דיפוזיה מבוסס שנאי שמשתמש בטכניקת flow matching כדי לייצר תנועות חלקות.

בגרסה הזו אנבידיה שינתה את שכבת החיבור בין רכיבי הראייה והשפה לבין מודל הדיפוזיה, ואימנה אותו יחד עם מטרות של חיזוי תנועה ומודל עולם. המטרה כאן היא לאפשר אימון המשך על פלטפורמות פיזיות שונות, אמיתיות או בסימולציה, כדי להתאים את השליטה לרובוט ספציפי.

מתאים ל

  • אימון זרוע רובוטית

    מאפשר לבצע אימון המשך עם נתוני תנועה מקומיים כדי ללמד זרוע אחיזה והזזת חפצים.

  • מחקר שליטה מבוסס ראייה

    משמש לבדיקת אלגוריתמי flow matching ודיפוזיה לבקרת רובוטים דמויי אדם.

  • הטמעה על חומרת קצה

    מתאים להרצה על מעבדי Jetson לצורך בדיקת זמני תגובה של רובוט אמיתי בשטח.

איפה זה נופל

בזמן הסקה המודל דוגם רעש גאוסיאני ומשחזר את הפעולה המוטורית בהדרגה באמצעות חיזוי מהירות, תהליך שעלול לייצר השהיה בזמן אמת. תמונות הקלט מוגבלות לרזולוציה בסיסית של 224 על 224 פיקסלים, מה שמקשה על זיהוי פרטים עדינים במיוחד. כמו כן, מדובר במודל בסיס שלא יפעיל רובוט מהקופסה בלי אימון המשך על מבנה המפרקים והמצלמות הספציפיים שלכם.

שאלות
נפוצות

האם המודל מוכן להפעלה מיידית על רובוט?

לא. המודל דורש אימון המשך על הנתונים של הרובוט הספציפי, כולל מיפוי המפרקים והמצלמות שלו, אחרת הוא לא יידע לאיזה מנועים לשלוח פקודות.

האם אפשר להריץ אותו על מעבד מרכזי בלי כרטיס גרפי?

טכנית PyTorch יכול לטעון אותו, אבל התיעוד מציין במפורש שהמודל מותאם ומיועד לעבוד על כרטיסי מסך של אנבידיה. ריצה על מעבד בלבד תהיה אטית מדי לשליטה ברובוט.

איך מריצים

המודל רץ בסביבת PyTorch ודורש לינוקס וכרטיס מסך מבית אנבידיה מארכיטקטורות Ampere, Lovelace, Hopper, Blackwell או מחשבי קצה מסדרת Jetson. המשקל עומד על כחמישה גיגה-בייט, כך שכרטיס מסך מודרני עם שמונה עד שישה עשר גיגה-בייט של זיכרון יספיק להסקה מקומית.

אם הרובוט שלכם לא נושא עליו מחשב חזק מספיק, תצטרכו להריץ את המודל על תחנת עבודה סמוכה ולהזרים את הפקודות ברשת מקומית. אין כאן שירות ענן רשמי שמשדר פקודות בזמן אמת, הרעיון הוא פריסה מקומית ליד הרובוט.

pip install -U huggingface_hub
hf download nvidia/GR00T-N1.5-3B

הקבצים

13 קבצים במאגר, 5.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המטא-דאטה לא מצהיר על רישיון רשמי, אבל הטקסט מפנה לרישיון הלא-מסחרי החד-כיווני של אנבידיה. השימוש מותר רק למחקר, אקדמיה וניסויים אישיים. אם אתם בונים מוצר שנועד למכירה או לרווח, אסור להפיץ אותו עם המודל הזה כפי שהוא.

הרישיון המלא בעמוד המודל ↗