Cosmos3-Nano
קוד פתוחnvidiaother2026-03-10
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
מודל עולם שמחבר וידאו, שמע, טקסט ופקודות תנועה לרובוטים בתוך ארכיטקטורה אחת. הוא מיועד למי שבונה סימולציות פיזיות או מערכות בקרה ולא מחפש רק צ'אטבוט רגיל.
- 16Bפרמטרים
- 262,144טוקנים בהקשר
- 32.6 GBמשקל הקבצים
- 236,414הורדות בחודש
מה זה
במקום להפריד בין מודל שפה, מודל תמונה ומודל בקרה נפרד לרובוטיקה, המערכת הזו מחברת בין שני רכיבי טרנספורמר. מודל אחד מייצר טקסט בצורה רציפה של ניחוש הטוקן הבא, והשני משתמש בדיפוזיה כדי לייצר וידאו, תמונות, שמע ופקודות פעולה פיזיות. השילוב מאפשר לו לנתח סביבה בתלת־ממד ובו זמנית להוציא סרטון עם סאונד או מסלול מוטורי מתאים.
הוא מקבל טקסט, תמונות, וידאו ונתוני חיישנים, ויודע לתפקד גם כמנוע הסקת מסקנות עם חלון גדול מאוד של טוקנים וגם כמחולל. אם משווים אותו למודלים אחרים באותו סדר גודל, הייחוד שלו הוא בחיבור הישיר בין הבנה של פיזיקה לבין פלט של קואורדינטות ותנועות רובוטיות אמיתיות, ולא רק יצירת מדיה יפה לעין.
מתאים ל
- סימולציה לרכב אוטונומי
חיזוי המשך נסיעה בווידאו וניתוח מסלולי תנועה מוגדרים של תשעה ממדים על בסיס צילומי דרך.
- בקרת זרועות רובוטיות
תרגום הוראות שפה ותמונות לפקודות תנועה ומיקום תלת־ממדי עבור זרועות תעשייתיות תואמות.
- יצירת סרטוני הדמיה עם קול
יצירת קטעי וידאו קצרים ברזולוציית 720p הכוללים פס קול סטריאופוני תואם ישירות מתוך תמונה או טקסט.
איפה זה נופל
המודל מוגבל מאוד במה שהוא מקבל ומייצר. קלט הווידאו מוגבל לחמישה פריימים בלבד, וקלט השמע מוגבל לחצי שנייה. רזולוציית התמונה והווידאו מגיעה עד 720p בלבד, ואין תמיכה בתמונות שחור־לבן אלא רק ב־sRGB.
בנוסף, פקודות הפעולה הרובוטיות נתמכות אך ורק ברשימה סגורה של פלטפורמות כמו זרועות Franka Panda, רכבים אוטונומיים או תנועת מצלמה מוגדרת. מי שבונה חומרה מותאמת אישית לא יוכל להשתמש ביכולות התנועה שלו בלי התאמות מורכבות, וזמני האתחול של השרת עשויים להיות ארוכים מאוד.
שאלות
נפוצות
האם אפשר להריץ את המודל על כרטיס מסך ביתי?
לא באופן מעשי. הקבצים תופסים 32.6 גיגהבייט ורצים בפורמט BF16, כך שכרטיס ביתי פשוט ייחנק מחוסר זיכרון. צריך כרטיס ארגוני חזק או מערך שרתים ייעודי של אנבידיה.
האם המודל יודע לייצר סרטונים ארוכים?
הוא מייצר מקטעים של עד 400 פריימים, כשברירת המחדל עומדת על 189 פריימים בלבד. זה מספיק לקליפים קצרים של שניות בודדות ולא לסרטים שלמים.
איך מריצים
כדי להריץ אותו צריך שרת לינוקס עם כרטיסי אנבידיה מדורות Ampere, Hopper או Blackwell. הקבצים שוקלים מעל 32 גיגהבייט והדיוק שנבדק הוא רק BF16, ללא תמיכה רשמית בקוונטיזציה של שמונה או ארבעה ביט, כך שכרטיס כמו H200 הוא ברירת המחדל הטבעית שלו. הוא נתמך במנועים כמו vLLM-Omni, SGLang, Hugging Face Diffusers ופייטורץ'.
לפני שמייצרים וידאו מטקסט, החברה ממליצה להרחיב את הפרומפט למבנה JSON מפורט דרך מודל שפה חיצוני כמו קלוד. אם אין לכם גישה למערך כרטיסי מסך ארגוניים חזקים, אין טעם לנסות להריץ אותו מקומית על מחשב פיתוח רגיל.
pip install -U huggingface_hub hf download nvidia/Cosmos3-Nano
הקבצים
68 קבצים במאגר, 32.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- transformer/diffusion_pytorch_model-00002-of-00007.safetensors5.0 GB
- transformer/diffusion_pytorch_model-00004-of-00007.safetensors5.0 GB
- transformer/diffusion_pytorch_model-00005-of-00007.safetensors4.9 GB
- transformer/diffusion_pytorch_model-00003-of-00007.safetensors4.9 GB
- transformer/diffusion_pytorch_model-00001-of-00007.safetensors4.9 GB
- transformer/diffusion_pytorch_model-00006-of-00007.safetensors4.3 GB
- sound_tokenizer/diffusion_pytorch_model.safetensors2.0 GB
- vae/diffusion_pytorch_model.safetensors1.4 GB
- transformer/diffusion_pytorch_model-00007-of-00007.safetensors1.3 GB
- vision_encoder/model.safetensors1.2 GB
- assets/example_i2v_output.mp422.8 MB
- assets/example_i2vs_output.mp417.8 MB
- text_tokenizer/tokenizer.json11.4 MB
- assets/example_t2v_output.mp49.2 MB
- tokenizer.json7.0 MB
- assets/example_t2vs_output.mp44.1 MB
- text_tokenizer/vocab.json2.8 MB
- vocab.json2.8 MB
- images/benchmark-reasoning.png2.7 MB
- text_tokenizer/merges.txt1.7 MB
- merges.txt1.7 MB
- assets/example_action_id_av_1_input.mp41.6 MB
- assets/example_t2v_diffusers_output.mp41.5 MB
- assets/example_action_id_av_0_input.mp41.1 MB
- assets/example_i2v_input.jpg860.8 KB
- assets/example_action_fd_agibotworld_4chunk_output.mp4672.9 KB
- assets/example_action_fd_agibotworld_first_frame.png637.6 KB
- images/benchmark-visual-audio.png366.1 KB
- images/benchmark-overall.png268.9 KB
- assets/example_reasoning_input.png230.7 KB
- assets/example_action_id_av_0_output.png135.7 KB
- assets/example_action_id_av_1_output.png134.0 KB
- model.safetensors.index.json113.0 KB
- images/benchmark-action-1.png101.0 KB
- transformer/diffusion_pytorch_model.safetensors.index.json78.9 KB
- assets/example_action_fd_agibotworld_action_chunks.json48.4 KB
- README.md44.0 KB
- assets/example_action_id_av_0_output.json16.0 KB
- assets/example_action_id_av_1_output.json15.7 KB
- assets/negative_prompt.json15.4 KB
הרישיון
הוא מופץ תחת רישיון OpenMDW1.1 ופתוח לשימוש מסחרי ולא מסחרי. עם זאת, מדובר ברישיון ייעודי למודלי עולם ולא ברישיון קוד פתוח סטנדרטי כמו MIT או אפאצ'י, ולכן חברות מסחריות חייבות לקרוא היטב את תנאי המסמך לפני הטמעה במוצר סופי.