Cosmos3-Super

קוד פתוח

nvidiaother2026-03-10

cosmos
diffusers
safetensors
cosmos3_omni
nvidia

nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.

מודל עולם פיזיקלי שמשלב חשיבה רב מודלית עם יצירת וידאו, סאונד ופקודות תנועה לרובוטים. מתאים למי שבונה סימולציות פיזיקליות או מערכות בקרה ולא מחפש עוד מודל טקסט רגיל.

65Bפרמטרים
262,144טוקנים בהקשר
124 GBמשקל הקבצים
114,594הורדות בחודש

מה זה

הארכיטקטורה כאן חריגה בנוף. היא משלבת שני מגדלי טרנספורמר נפרדים: אחד אוטורגרסיבי לטקסט ולחשיבה, והשני מבוסס דיפיוז'ן שמרנדר וידאו, תמונות, סאונד סטריאו ופקודות תנועה במרחב. המודל מחזיק 64 מיליארד פרמטרים ומקבל קלט היברידי של טקסט, תמונה, וידאו עד חמישה פריימים, או קואורדינטות של זרוע רובוטית.

בניגוד למודלי וידאו רגילים שרק מנסים לייצר פיקסלים יפים, הוא מכוון ישירות לעולם הרובוטיקה והרכב האוטונומי. הוא יודע לפלוט לא רק קובץ MP4 אלא רשימות פעולה מדויקות בממדים שמתאימים לפלטפורמות ספציפיות כמו זרועות פנדה, רובוטים של אג'יבוט או תנועת מצלמה. חלון ההקשר במצב חשיבה מגיע עד 262,144 טוקנים ומאפשר לנתח סרטונים ארוכים, למקם נקודות במרחב תלת ממדי ולתחום אובייקטים.

מתאים ל

סימולציה לרכב אוטונומי
יצירת סרטוני המשך ותנועה במרחב לפי נתוני היגוי ותנועת מצלמה ב־9 ממדים.
תכנון תנועה לזרוע רובוטית
קבלת תמונה והוראה טקסטואלית, ופליטת קואורדינטות פעולה מדויקות לזרוע פנדה או UMI.
ניתוח מרחבי לסרטונים ארוכים
חלון הקשר של 262 אלף טוקנים לזיהוי ותיחום אובייקטים בתוך וידאו במצב חשיבה.

איפה זה נופל

המודל מוגבל מאוד בממדי התנועה שלו. הוא לא מייצר פעולות גנריות לכל רובוט, אלא מוגבל מראש לעשר פלטפורמות מוגדרות כמו זרועות פרנקה או רכבים אוטונומיים. בקלט של וידאו גנרטיבי הוא מוגבל לעד חמישה פריימים בלבד, ואודיו לקלט מוגבל לחצי שנייה. תמונות שחור־לבן אינן נתמכות כלל. בנוסף, הוא נבדק רשמית אך ורק בפורמט BF16, כך שאין תמיכה רשמית בקוונטיזציה נמוכה כמו FP8 או FP4 כדי לחסוך זיכרון. לקבלת תוצאות טובות תצטרכו להעביר את הפרומפטים דרך מודל הרחבה חיצוני בפורמט JSON ספציפי.

שאלות
נפוצות

האם אפשר להריץ את המודל על כרטיס RTX ביתי בודד?

לא. משקל הקבצים לבדו הוא 124 גיגה בייט, והוא דורש ארכיטקטורת שרתים של אנבידיה כמו שמונה כרטיסי A100 או H100. אין גם תמיכה רשמית בדיוקים נמוכים יותר מ־BF16 כדי לצמצם את הזיכרון.

האם המודל מייצר פקודות לכל רובוט?

לא, התמיכה בפקודות תנועה מוגבלת רק לפלטפורמות ספציפיות שנלמדו מראש. הרשימה כוללת גופים כמו זרוע פרנקה פנדה, אג'יבוט, UMI, ומצלמות בתנועה מוגדרת.

איך מריצים

בשביל להריץ 124 גיגה בייט בפורמט BF16, צריך חומרה ייעודית. החבילה נתמכת בסביבות לינוקס בלבד ועל כרטיסי אנבידיה מדור אמפר, הופר או בלקוול. תצורת ההרצה המומלצת למודל הזה דורשת שמונה כרטיסי A100, H100 או H200 דרך vLLM-Omni. יצירת סרטון של 50 צעדים לוקחת כמעט דקה על שרת של שמונה כרטיסי H200, וכשלוש דקות על שני כרטיסים כאלה.

גרסאות ה־Nano קטנות בהרבה, 16 מיליארד פרמטרים, ומתאימות לבדיקות מהירות. לגרסת הסופר הזו אין טעם לגשת בלי קלאסטר של GPU ייעודי. אם אין לכם גישה ישירה לשרתים כאלה, עדיף להמתין לשירות ענן מנוהל או API חיצוני במקום לנסות לדחוס אותו למכונות חלשות.

pip install -U huggingface_hub
hf download nvidia/Cosmos3-Super

הקבצים

88 קבצים במאגר, 124 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקלים שוחררו תחת רישיון OpenMDW1.1, והכרטיס מציין שהמודל מוכן לשימוש מסחרי ובלתי מסחרי. עם זאת, ברישיונות ייעודיים מסוג זה חשוב לקרוא את נוסח הרישיון המלא לפני שילוב שלו במוצר סגור, כדי לוודא שאין תנאים מיוחדים על הפצת המשקלים או על אימון מודלים מתחרים.

הרישיון המלא בעמוד המודל ↗