Cosmos3-Action-Viewer
רץ בדפדפןnvidiaother2026-05-30
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
הכלי מציג ומריץ מודלי עולם של רובוטיקה בדפדפן, לחיזוי פריימים ופעולות תנועה. הוא מיועד לחוקרים ומפתחי רובוטיקה שרוצים לבחון את מודל Cosmos3 בלי לכתוב סקריפטים לתצוגה.
- —הורדות בחודש
- 38לייקים
מה זה
מזינים לאפליקציה רצפי פעולות של רובוט או פריימים מתוך סרטוני תנועה. בתמורה מקבלים וידאו שמנחש את הפריימים הבאים, זיהוי של הפעולות שחיברו בין שני מצבים, או את הפעולה הבאה שהרובוט צריך לבצע. בממשק משולבות דוגמאות מובנות מתוך מאגרים כמו bridge או droid, כך שאפשר להריץ בדיקות ישירות מתוכן בלי להעלות קבצים ידנית.
מאחורי הקלעים רץ מודל העולם Cosmos3 לצד מודלי תמיכה, נימוק וסינון תוכן כמו SigLIP, Llama Guard וסדרת מודלי Cosmos-Reason. הממשק מבוסס על ספריית Viser ומציג את התוצאות בתלת ממד או ברצפי תמונה ברזולוציה ברירת מחדל של 480 על 24 פריימים.
מתאים ל
- חיזוי תנועת רובוט מווידאו
מזינים סדרת פקודות ומקבלים סרטון שמראה איך סביבת הרובוט אמורה להיראות ב־24 הפריימים הבאים.
- הסמכת פעולות בין מצבים
מזינים תמונות של מצב התחלתי ומצב סופי, והכלי משחזר אילו פעולות מוטוריות חיברו ביניהם.
- בדיקת מדיניות תנועה
מריצים בדיקה שמנחשת מהי התנועה הבאה שהזרוע או הרובוט צריכים לבצע בהתאם לתמונה נוכחית.
איפה זה נופל
ההדגמה מוגבלת מאוד ברזולוציה ובמשך הזמן שהיא מייצרת, 24 פריימים בלבד בברירת מחדל עם 30 צעדי דגימה. היא לא מתאימה לניווט בזמן אמת של רובוט אמיתי אלא רק לבדיקות מקומיות קצרות. בנוסף, כל הקבצים שנוצרים נמחקים אוטומטית מתיקיית ההפעלות הזמנית ברגע שהסשן מסתיים, ולכן אי אפשר להסתמך עליה לשמירת היסטוריית ריצות.
שאלות
נפוצות
האם הכלי עולה כסף?
השימוש באפליקציה המוצגת בדפדפן אינו דורש תשלום. אם תרצו להריץ אותה בעצמכם מקומית דרך דוקר, תצטרכו כרטיס מסך של אנבידיה עם לפחות 48 גיגה בייט זיכרון.
כמה זמן לוקח לכל בדיקה להתבצע?
הפעולה הראשונה עשויה לקחת דקות בודדות בגלל חימום המודל וקומפילציה פנימית. לאחר מכן, הפקת רצף של 24 פריימים ב־30 צעדים מתבצעת מהר יותר תודות למאיץ L40S.
האם הקבצים והסרטונים שלי נשמרים במערכת?
לא. התוצרים שנוצרים נכתבים לתיקיית sessions זמנית ונמחקים ממנה באופן אוטומטי לאחר כל סשן או יצירה.
איך הכלי שונה מהורדת המודל עצמו?
האפליקציה עוטפת את המודל בממשק גרפי מבוסס Viser ומכילה נתוני הדגמה מוכנים מראש. המודל עצמו דורש כתיבת קוד כדי להזין נתונים ולקבל תחזיות.
איך משתמשים
פותחים את הממשק בדפדפן ובוחרים באחד משלושת המצבים, דינמיקה קדימה, דינמיקה הפוכה או מדיניות פעולה. לוחצים על הפעלה ומחכים לרינדור. האפליקציה רצה על מאיץ L40S יחיד, אבל הריצה הראשונה תהיה אטית במיוחד בגלל תהליך חימום וקומפילציה של PyTorch ברקע. בריצות הבאות התוצאות מגיעות מהר יותר. אין צורך בהרשמה או התחברות כדי להתחיל.
הרישיון
הרישיון מוגדר כ־other, כלומר תנאי שימוש ייעודיים שלא פורטו בטקסט החופשי. אי אפשר להניח שמותר להשתמש בתוצרים לצרכים מסחריים בלי לבדוק את תנאי הרישיון הישירים של אנבידיה. הקבצים המיוצרים נמחקים מהשרת בסיום הסשן.