TencentARC/NVComposer
רץ בדפדפןTencentARCרישיון לא דווח2024-12-04
הדגמה שיוצרת סרטוני וידאו מזוויות מצלמה מותאמות מתוך תמונות סטילס בודדות או מרובות. היא מיועדת לחוקרים ויוצרים שרוצים לבחון תנועת מצלמה סינתטית.
- —הורדות בחודש
- 41לייקים
מה זה
אתם מעלים בין תמונה אחת לארבע תמונות, כשהתמונה הראשונה משמשת נקודת עוגן מרכזית. הממשק מפיק מהן סרטון קצר המציג תנועה במרחב סביב האובייקט, לפי הגדרות תנועה שאתם בוחרים.
בקרי השליטה מחולקים למסלול כדורי עם זוויות ורדיוס, או תנועה חופשית המשלבת סיבוב והזזה בשלושת הצירים. מתחת למכסה המנוע הקוד טוען את המשקלים של NVComposer-V0.1 לצד מודלי תמיכה כמו CLIP לעיבוד תמונה וגרסאות של T5, ומבצע דגימה באמצעות DDIM.
המערכת כוללת תפריט דוגמאות מובנה שמציג חמישה פריטים בכל עמוד, אך הדוגמאות אינן שמורות במטמון ומחייבות הרצה מלאה כדי לראות את התוצאה.
מתאים ל
- הנפשת תמונת מוצר
מעלים תמונה של חפץ ומייצרים סרטון עם תנועת מצלמה סביבו כדי לבחון אותו מזוויות שונות.
- שילוב מספר זוויות
מזינים עד ארבע תמונות של אותה סצנה כדי לייצר מעבר וידאו רציף ומדויק יותר ביניהן.
- ניסויי תנועת מצלמה
בודקים השפעה של ערכי סיבוב והזזה תלת-ממדיים על יציבות המודל באמצעות דגימת DDIM.
איפה זה נופל
הבעיה המיידית היא שהחלל תקוע במצב שגיאה ולא מבצע עיבוד כלל. גם כשהקוד רץ, הדוגמאות לא נשמרות במטמון, כך שאי אפשר לראות תוצאות מוכנות מראש בלי להמתין לעיבוד מלא.
מעבר לכך, הממשק דורש הבנה מתמטית בסיסית בהגדרות צירים ומצלמה. בחירה בערכים לא הגיוניים של תנועה תוביל לעיוותים חזותיים בסרטון הסופי.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה כרגע בדפדפן?
לא, המרחב נמצא במצב של שגיאת תצורה. עד שהמפתחים לא יתקנו את קובצי ההגדרה, הדף לא מאפשר להריץ שום פעולה. תצטרכו להמתין לעדכון או להוריד את הקוד למחשב שלכם.
האם השימוש בשירות כרוך בתשלום?
הגישה לממשק באתר Hugging Face פתוחה ואינה דורשת תשלום. החומרה מבוססת על הקצאת Zero-A10G של הפלטפורמה. כל עוד המרחב אינו תקין, אין אפשרות לנצל את המשאב הזה.
מה קורה עם התמונות שאני מעלה?
התמונות מעובדות בזיכרון של השרת לצורך יצירת הווידאו. מאחר שהרישיון ונוהלי השמירה לא פורטו במאגר, אין תיעוד רשמי לגבי משך שמירת הקבצים. כדאי להימנע מהעלאת מידע רגיש או פרטי.
האם אפשר להריץ את הכלי הזה באופן מקומי?
כן, הקוד מסתמך על קובץ משקלים בשם NVComposer-V0.1.ckpt הזמין להורדה. תצטרכו סביבת פייתון מתאימה, כרטיס גרפי תומך ומודלים נוספים כמו CLIP ו־T5. ההרצה המקומית דורשת ידע טכני בהתקנת תלויות.
איך משתמשים
בוחרים כמה תמונות להזין באמצעות הסליידר, מעלים אותן לתיבות המתאימות, ומכוונים את נתוני המצלמה. אפשר לשנות ערכים מתקדמים כמו מספר צעדי הדגימה ומשקל ההנחיה, ולוחצים על כפתור Generate.
ההדגמה מוגדרת לרוץ על מעבד גרפי מסוג Zero-A10G, אבל המצב שלה מדווח כרגע כשגיאת קונפיגורציה, כך שאי אפשר להריץ אותה בדפדפן עד שהמפתח יתקן את ההגדרות.
הרישיון
הרישיון של המרחב והמודל לא דווח במאגר. במצב כזה אין אישור מפורש לשימוש מסחרי, ומומלץ להתייחס לקוד ולתוצרים ככאלה שמיועדים למחקר ובדיקה בלבד.