GPT
הוספת כלי
C

Cosmos3-Edge

קוד פתוח

nvidiaother2026-07-01

  • cosmos
  • diffusers
  • safetensors
  • cosmos3_edge
  • nvidia

nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.

מודל עולם קומפקטי שמחבר בין הבנת וידאו, חיזוי תנועה והפקת פעולות לרובוטים. מתאים למי שרוצה לשלב ראייה ושליטה בחומרה מקומית בלי לגרור מודל ענק.

  • 3.9Bפרמטרים
  • 131,072טוקנים בהקשר
  • 8.5 GBמשקל הקבצים
  • 1,614,126הורדות בחודש

מה זה

מדובר במודל של כמעט 4 מיליארד פרמטרים שמחולק לשניים. מצד אחד יש לו ארכיטקטורה שמייצרת טקסט ורצפי פעולות בצורה רגילה, ומצד שני מודל דיפוזיה שמייצר תמונות ווידאו. המטרה כאן היא לא עוד צ׳אטבוט, אלא מודל שמבין סביבה פיזית, צופה מה יקרה הלאה, ומסוגל לקלוט או להוציא פקודות תנועה בזוויות שונות, מרכבים אוטונומיים ועד זרועות תעשייתיות כמו פרנקה.

בגזרה של יצירת וידאו הוא רץ מהר יותר מהגרסאות הגדולות של אותה סדרה, אבל פלט הווידאו מוגבל לרזולוציות של 256p או 480p בלבד. במבחני ריצה, הפקת פעולת רובוט מגיעה סביב שניה עד שתיים בכרטיסים חזקים, מה שהופך אותו לפרקטי עבור בדיקות ובקרות, אך יצירת וידאו מלאה לוקחת עשרות שניות אפילו על מעבדים גרפיים ייעודיים.

מתאים ל

  • תכנון מסלול לזרוע רובוטית

    קליטת וידאו של סביבת עבודה ותרגום לפקודות תנועה בפורמט מובנה לזרועות נתמכות.

  • סימולציית תנועה לרכב

    חיזוי המשך התנועה של הרכב על בסיס מצלמה קדמית ומדדי היגוי קיימים.

  • הבנת סצינה תעשייתית בווידאו

    מענה טקסטואלי, איתור עצמים ותיחום נקודות במרחב מקובצי וידאו ארוכים של פסי ייצור.

איפה זה נופל

המודל אינו מחולל מדיה באיכות גבוהה. הוא תומך בווידאו ובתמונות ברזולוציה מקסימלית של 480p, והתמונות חייבות להיות בפורמט צבעוני בלבד ללא תמיכה בגווני אפור. יצירת וידאו על מכשירי קצה ארוכה מאוד ולא מתאימה לשום שימוש שדורש זמן אמת. בנוסף, חילוץ פעולות מוטוריות מוגבל לרשימת מבני רובוטים מאוד ספציפית שנתמכת בקוד, כך שאם יש לכם חומרה ייחודית משלכם, תצטרכו לאמן התאמות מאפס. הוא גם לא עבר בדיקות על מערכות הפעלה שאינן לינוקס או ברמות דיוק אחרות מלבד BF16.

שאלות
נפוצות

אפשר להריץ אותו על מחשב אישי רגיל עם ווינדוס?

התיעוד הרשמי מציין בדיקות על לינוקס בלבד, ורק עם כרטיסים תואמי ארכיטקטורות Ampere, Hopper ו־Blackwell. הרצה על מערכת אחרת תדרוש התאמות עצמאיות ולא מובטח שתעבוד חלק.

הוא מתאים לשליטה ברובוט בזמן אמת?

להפקת פקודות פעולה לוקח בין שניה לשמונה שניות תלוי בחומרה. זה מספיק טוב למשימות תכנון צעדים או בקרת מסלול איטית, אבל לא לתיקוני תנועה מהירים של אלפיות שניה.

איך מריצים

המודל שוקל 8.5 גיגה בייט בפורמט BF16 בלבד, וזה הפורמט הרשמי היחיד שנתמך בלי עבודה נוספת על קוונטיזציה. אפשר להריץ אותו דרך ספריות כמו vLLM, vLLM-Omni או PyTorch על לינוקס, בכרטיסי סדרות Ampere ומעלה.

למרות השם שלו, אם בונים על משימות יצירת וידאו במכשירי קצה כמו סדרת Jetson, זמני ההפקה עולים לכמה דקות לפעולה בודדת. במצבים שדורשים תגובה מהירה ליצירת תוכן חזותי ולא לפעולות רובוטיות, עדיף להריץ על שרת מרכזי או להשתמש בנקודת קצה מרוחקת.

pip install -U huggingface_hub
hf download nvidia/Cosmos3-Edge

הקבצים

54 קבצים במאגר, 8.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון OpenMDW 1.1, שמתיר שימוש מסחרי ושימוש למחקר. אם אתם משלבים אותו במוצר מסחרי, מותר להריץ ולמכור, אבל מומלץ לקרוא את נוסח הרישיון המלא כדי לוודא שאין תנאי חלוקה מחדש או סייגים שמגבילים את אופן ההפצה של המערכת הסופית.

הרישיון המלא בעמוד המודל ↗