TrajectoryCrafter

מה זה

אתם מעלים קובץ וידאו בפורמט MP4 ומגדירים לאן המצלמה צריכה לזוז. בממשק בוחרים תנועות מוכנות מראש כמו הזזה ימינה, שמאלה, למעלה או למטה, הקפה של האובייקט, או התקרבות והתרחקות. אפשר גם להזין ידנית מחרוזת של חמישה ערכים שמגדירים במדויק את מסלול המצלמה במרחב, כולל זוויות ומרחקים. בתמורה מקבלים סרטון וידאו חדש שמציג את אותה סצנה מנקודת המבט החדשה שנבחרה.

מתחת למכסה המנוע רצה שרשרת שלמה של מודלים. המערכת מבוססת על המודל TrajectoryCrafter, ובקוד משולבים גם כלי עומק כמו DepthCrafter, מודלים ליצירת וידאו כמו Stable Video Diffusion וגרסה של CogVideoX Fun, יחד עם BLIP 2 לניתוח טקסטואלי ורכיבי VAE. חמש דוגמאות הקלט שמגיעות עם הממשק מציגות סרטונים קצרים עם הגדרות תנועה משולבות של תזוזה והקפה כדי להדגים איך הסצנה מגיבה לתנועה תלת ממדית.

מתאים ל

• הקפת אובייקט בווידאו

  יצירת שוט סיבובי סביב דמות או חפץ מתוך קטע וידאו סטטי קיים.

• שינוי זווית צילום

  הזזת המצלמה בציר האנכי או האופקי כדי לדמות צילום מנוף או רחפן.

• בדיקת מסלולי תנועה

  ניסוי של ערכי תנועה שונים כדי לראות איך מודלי וידאו מפרשים עומק.

איפה זה נופל

חומרת A10G עם הקצאה דינמית עשויה להיכנס לתור או להיעצר אם השרת עמוס. הגדרת מסלול המצלמה באופן מותאם אישית דורשת להבין את הפורמט המדויק של חמשת המספרים, ואם לא קולעים לזווית נכונה התוצאה עלולה להתעוות. כמו כן, ריבוי המודלים הכבדים שרצים ברקע גורם לכך שכל שינוי בפרמטרים דורש זמן עיבוד ממשי, והכלי מוגבל כרגע לקובצי MP4 בלבד.

איך משתמשים

גוררים סרטון לתיבת הקלט או בוחרים באחת הדוגמאות המוכנות. לוחצים על אחד מכפתורי התנועה, למשל Orbit Left או Pan Up, מה שמעדכן אוטומטית את שורת ערכי המצלמה. בנוסף אפשר לשחק עם סליידרים של Stride, מרכז הסקאלה, מספר צעדי הדגימה וגרעין אקראי. לא צריך להירשם או להתחבר. העיבוד רץ על חומרת A10G דרך תשתית Zero GPU, כך שזמן ההמתנה תלוי בעומס ובזמינות המשאבים באותו רגע.

הרישיון

הפרויקט מפורסם תחת רישיון apache 2.0 שמתיר שימוש חופשי כולל שימוש מסחרי והפצה. הקבצים שאתם מעלים והסרטונים שנוצרים מעובדים על גבי התשתית של Hugging Face בהתאם לתנאי השימוש הרגילים של הפלטפורמה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗