stable-virtual-camera — הדגמה
קוד פתוחstabilityaiother2025-02-19
הכלי מייצר וידאו עם תנועת מצלמה תלת ממדית מתוך תמונה או טקסט. הוא מתאים ליוצרים וחוקרים שרוצים לבדוק שליטה במסלול מצלמה וירטואלי.
- 1.3Bפרמטרים
- 9.4 GBמשקל הקבצים
- —הורדות בחודש
- 512לייקים
מה זה
אתם מגיעים לממשק gradio שמאחוריו עובדים כמה מודלים במקביל. התשתית משלבת את DUSt3R לשחזור גיאומטריה תלת ממדית מנקודות מבט שונות, יחד עם stable-diffusion-2-1-base ורשת הווידאו הייעודית של stabilityai. השילוב הזה נועד לחשב עומק ולהפיק פריימים עקביים מזוויות חדשות.
התוצר שמתקבל הוא קטע וידאו קצר שמדמה תנועת מצלמה במרחב סביב האובייקט. בניגוד ליצירת וידאו רגילה מטקסט או תמונה, הדגש כאן הוא על תנועה מוגדרת בחלל, כשהמערכת מנסה לשמור על יציבות של המבנה והמרקמים מזוויות ראייה משתנות.
מתאים ל
- הנפשת תמונות סטילס בתלת ממד
יצירת קטעי וידאו קצרים עם מסלול מצלמה מסביב לאובייקט מתוך תמונה בודדת.
- בדיקת מחקר לשליטה בזוויות
בחינת היכולת של שילוב DUSt3R עם מודלי דיפוזיה לשמירה על עקביות מרחבית.
- הפקת שוטים לסרטונים
תכנון תנועות מצלמה וירטואליות עבור יוצרי תוכן והדמיות וידאו.
איפה זה נופל
החיסרון המיידי הוא שהדמו פשוט שבור כרגע ולא מגיב. מעבר לזה, שרשור של DUSt3R יחד עם מודלי דיפוזיה הוא תהליך כבד מאוד, שעל חומרת l4x1 בודדת צפוי לעבוד לאט במיוחד אם וכאשר המרחב יחזור לפעול. סביר גם שהשליטה בתנועת המצלמה רגישה לתמונות קלט מורכבות או שטוחות מדי.
שאלות
נפוצות
האם השימוש באפליקציה בחינם?
הגישה לממשק באתר היא ללא תשלום, ואין דרישה למנוי. עם זאת, כרגע המופע נמצא בשגיאת ריצה ולא מייצר תוצרים. אם תרצו להריץ אותו בעצמכם, תצטרכו לשלם על שרת עם מעבד גרפי.
כמה זמן לוקח לייצר סרטון?
בדפדפן זה לא עובד כרגע בגלל תקלה בשרת. בעיבוד מקומי, הפעלה של שלושה מודלים כבדים יחד דורשת זמן חישוב משמעותי לכל פריים. על כרטיס בודד התהליך עשוי לקחת בין עשרות שניות לכמה דקות.
האם אפשר להריץ את זה על המחשב?
כן, הקוד פתוח בגיטהאב ומשקולות המודל זמינות להורדה. תצטרכו מחשב או שרת עם כרטיס מסך חזק שמסוגל להחזיק את מודל השחזור ואת מודל הדיפוזיה בזיכרון. משם מריצים את הסקריפטים ישירות לפי ההוראות במאגר.
במה הדמו שונה מהרצת המודל ישירות?
הדמו באתר מספק רק ממשק גרפי מבוסס gradio שאמור לאפשר בדיקה מהירה בלי לכתוב קוד. המודל עצמו גמיש יותר ומאפשר שליטה מדויקת בפרמטרים של המצלמה והרצה באצוות. בנוסף, המודל המקורי עובד, בעוד שהדמו הזה ספציפית קרס.
איך מריצים
כרגע אי אפשר להריץ את הדמו בדפדפן. המופע מוגדר על חומרת מאיץ l4x1 בודד, אבל הוא תקוע במצב של שגיאת ריצה. כשהדף לא עולה, אין כפתור שאפשר ללחוץ עליו באתר.
מי שרוצה להשתמש במודל יצטרך להוריד את הקוד מגיטהאב או לקחת את המשקולות מעמוד המודל ולהריץ אותם על שרת עצמאי עם מעבד גרפי מתאים.
pip install -U huggingface_hub hf download stabilityai/stable-virtual-camera
הקבצים
6 קבצים במאגר, 9.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון לא דווח בעמוד של האפליקציה. במצב כזה אין אישור מפורש לשימוש מסחרי בתוצרים או בקוד ישירות מהעמוד, וכדאי לבדוק את תנאי הרישיון המדויקים במאגר הקוד בגיטהאב לפני שמפתחים על זה משהו.