multimodalart/Cosmos3-Nano
רץ בדפדפןmultimodalartother2026-06-01
הדגמה שמייצרת וידאו ואודיו מטקסט או מתמונה בודדת. היא מיועדת למי שרוצה לבדוק את היכולות של מודל עולם בלי להרים סביבת פיתוח כבדה.
- —הורדות בחודש
- 62לייקים
מה זה
אתם כותבים תיאור טקסטואלי, ויכולים להוסיף גם תמונת מקור אם רוצים שהווידאו יתבסס עליה. הממשק מציע בחירה בין יצירת וידאו לתמונה, ומאפשר לסמן תיבה להפקת סאונד מותאם יחד עם התנועה. בהגדרות המתקדמות אפשר לשלוט ברזולוציה, בכמות הפריימים, במספר הצעדים ובערכי ההנחיה.
מאחורי הקלעים רץ המודל nvidia/Cosmos3-Nano, מודל של 16 מיליארד פרמטרים. הקוד טוען אותו דרך ספריית Diffusers באמצעות הצינור Cosmos3OmniPipeline עם מתזמן UniPC, כך שהשילוב בין תמונה, וידאו ואודיו מחושב ישירות בתוך אותה הרצה.
מתאים ל
- הנפשת תמונות סטילס
מעלים תמונה קיימת, מוסיפים תיאור קצר ומייצרים ממנה קטע וידאו עם תנועה.
- יצירת וידאו עם סאונד
כותבים פרומפט ומסמנים הפקת אודיו כדי לקבל קובץ וידאו הכולל צלילים תואמים.
- בדיקת המודל של אנבידיה
התנסות ביכולות של Cosmos3-Nano ישירות בדפדפן בלי צורך להתקין משקלים מקומית.
איפה זה נופל
המודל דורש לא מעט כוח חישוב, ועל גבי חומרת A10G שיתופית יצירת פריימים רבים יחד עם אודיו עלולה לקחת זמן או להיעצר בעומס. בנוסף, חובה להזין פרומפט בטקסט אחרת המערכת זורקת שגיאה, כך שאי אפשר להסתמך רק על תמונה בלי תיאור מילווי.
שאלות
נפוצות
האם השימוש בהדגמה עולה כסף?
לא. ההדגמה פתוחה לשימוש ציבורי בחינם דרך Hugging Face Spaces.
מה קורה אם יש עומס של משתמשים?
הקוד מגדיר תור של עד 10 בקשות. אם התור מלא, תצטרכו להמתין שמשתמשים אחרים יסיימו כדי שתוכלו להריץ.
האם אפשר להריץ את זה על המחשב האישי?
הקוד משתמש במודל Cosmos3-Nano של 16B פרמטרים דרך ספריית diffusers. אפשר להריץ אותו מקומית, אבל תצטרכו כרטיס מסך חזק מאוד כדי לעמוד בדרישות הזיכרון שלו.
האם חובה להזין טקסט גם כשמעלים תמונה?
כן. הקוד בודק באופן מפורש שקיים פרומפט טקסטואלי ומקפיץ שגיאה אם השדה נשאר ריק.
איך משתמשים
בוחרים מצב עבודה, מזינים תיאור או תמונה, מסמנים אם רוצים סאונד ולוחצים על Generate. ההדגמה רצה על גבי מעבד גרפי zero-a10g של Hugging Face Spaces באמצעות מודול spaces, ויש לה תור מוגבל לעשרה משתמשים בו זמנית. הביצועים בפועל תלויים בעומס על המכונה, וכשמבקשים וידאו ארוך עם סאונד צריך להמתין שהעיבוד יסתיים.
הרישיון
הרישיון המוגדר במערכת הוא other. זה אומר שתנאי השימוש המסחרי וההפצה אינם סטנדרטיים וצריך לבדוק את תנאי הרישיון המקוריים של אנבידיה עבור המודל עצמו לפני שעושים שימוש בתוצרים.