NVComposer
רץ בדפדפןl-liרישיון לא דווח2024-12-03
הדגמה שיוצרת סרטון קצר מתמונות סטילס לפי זוויות מצלמה מוגדרות. מיועדת לחוקרים ויוצרים שרוצים לבדוק סינתוז זוויות צפייה חדשות מתמונה בודדת או מכמה זוויות.
- —הורדות בחודש
- 113לייקים
מה זה
מעלים בין תמונה אחת לארבע תמונות, כשהראשונה משמשת נקודת עוגן. בוחרים את סוג תנועת המצלמה הרצויה, כדורית או תזוזה בצירים חופשיים, ומכוונים סליידרים של זוויות ומרחק. התוצאה היא סרטון וידאו שמציג סימולציה של תנועת מצלמה סביב האובייקט או הסצנה.
מאחורי הקלעים רץ המודל NVComposer-V0.1 של TencentARC יחד עם DDIMSampler. המערכת משלבת מודלים כמו CLIP וגרסאות של T5, ומבצעת אינטרפולציה של מסלולי מצלמה כדי לחשב את הפריימים החסרים. בדף יש דוגמאות מובנות שמציגות הגדרות מוכנות ומקלות על הניסוי הראשון.
מתאים ל
- סימולציית תנועה מתמונה
יצירת סרטון שמזיז את המצלמה סביב תמונה בודדת בטווח זוויות מוגבל.
- שילוב מספר זוויות
העלאת עד ארבע תמונות של אותה סצנה כדי לקבל מסלול צילום רציף ביניהן.
- בדיקת מודל NVComposer
התנסות ביכולות המודל של TencentARC ישירות בדפדפן בלי צורך בהתקנה מקומית.
איפה זה נופל
ההדגמה מוגבלת לתנועות מצלמה מוגדרות מראש ולא תתאים ליצירת סרטונים חופשיים או מורכבים. טווח הסליידרים מוגבל לזוויות קטנות עד בינוניות, כך שאי אפשר להקיף אובייקט במלואו בסיבוב של 360 מעלות. הדוגמאות המוכנות לא נשמרו מראש במטמון ולכן דורשות ריצה מלאה.
שאלות
נפוצות
האם השימוש בחינם?
הגישה בדפדפן פתוחה וחינמית. היא נסמכת על חומרת ZeroGPU שמוקצית לפי תור וזמינות.
מה קורה עם התמונות שמעלים?
התמונות נשלחות לעיבוד על השרת שמריץ את הממשק כדי לייצר את הווידאו. לא מצוין תנאי שימוש שמבטיח מחיקה או שמירה, ולכן לא מומלץ להעלות חומרים רגישים.
האם אפשר להריץ את זה מקומית?
הקוד בנוי סביב קובץ app.py וספריות פתוחות, ומשקלי המודל נמשכים ממאגר TencentARC. כדי להריץ לבד צריך מחשב עם מעבד גרפי מתאים ותמיכה ב־xformers.
במה הממשק שונה מהרצת המודל ישירות?
הממשק מגביל את השליטה לסליידרים קבועים ולמספר מצומצם של תמונות. הרצה עצמאית בקוד מאפשרת גמישות מלאה בפרמטרים ובאורכי המסלולים.
איך משתמשים
בוחרים את מספר התמונות, מעלים את הקבצים, מגדירים את זוויות המצלמה ולוחצים Generate. תחת הגדרות מתקדמות אפשר לשנות ערכי cfg scale, צעדי דגימה וסיד אקראי. התהליך רץ על מעבד גרפי מדגם A10G דרך תשתית ZeroGPU, מה שאומר שהעיבוד מוגבל בזמן ריצה ועלול לדרוש המתנה קצרה בתור אם יש עומס.
הרישיון
הרישיון של היישום והקוד לא דווח במאגר. המשמעות היא שאין אישור רשמי וברור לשימוש מסחרי, ומומלץ להתייחס לפלט ולשימוש כניסיוניים ומחקריים בלבד.