Framer
רץ בדפדפןwwen1997bsd-2-clause2024-10-28
הכלי מייצר סרטון מעבר בין שתי תמונות בעזרת מסלולי גרירה שאתם מסמנים ביד. הוא מיועד למי שרוצה שליטה בתנועה של אנימציה קצרה ולא רק מעבר אוטומטי.
- —הורדות בחודש
- 370לייקים
מה זה
אתם מעלים תמונת התחלה ותמונת סיום, ומסמנים נקודות ומסלולי תנועה על גבי התמונה כדי לקבוע איך דברים יזוזו ביניהן. הפלט הוא סרטון קצר של 14 פריימים שמגשר על הפער לפי ההנחיות שלכם. הממשק כולל גם קובץ הדגמה מונפש שמציג את היכולות מראש.
מאחורי הקלעים רץ שילוב של Stable Video Diffusion יחד עם ControlNet ורכיב Unet spatio-temporal ייעודי לרזולוציה של 512x320. הכלי לוקח את נקודות המעקב, משלים מסלולים בעזרת אלגוריתמים כמו SIFT ואינטרפולציית PCHIP, וגוזר מזה את התנועה לאורך הפריימים.
מתאים ל
- הנפשת מעבר בין תמונות
יצירת קליפ קצר שמחבר בין שני מצבים של אותה דמות או עצם לפי כיווני תנועה מוגדרים.
- שליטה ידנית בתנועת וידאו
סימון מסלולי גרירה כדי להזיז אלמנטים ספציפיים בתמונה במקום לתת למודל לנחש את הכיוון.
- בדיקת אינטרפולציה בזמן אמת
התנסות ביכולות של ControlNet מבוסס SVD עבור משימות יצירת פריימים מותאמות אישית.
איפה זה נופל
התוצאה מקובעת לאורך של 14 פריימים בלבד ומוגבלת לרזולוציית בסיס של 512x320, כך שלא תקבלו כאן קליפ ארוך או וידאו חד בחדות גבוהה. אם האובייקטים בשתי התמונות שונים מדי זה מזה, או אם מסלולי התנועה שסימנתם לא הגיוניים, המודל ייצר עיוותים ומריחות ויזואליות במקום תנועה חלקה.
שאלות
נפוצות
האם השימוש בממשק עולה כסף?
לא, הגישה דרך הדפדפן חופשית לגמרי. החומרה מוקצית באופן דינמי דרך המערכת ללא תשלום.
כמה זמן לוקח לייצר סרטון?
העיבוד מתבצע על כרטיס A10G ולוקח בדרך כלל כמה עשרות שניות. אם יש עומס משתמשים על המערכת, ייתכן שתמתינו בתור קצר לפני שהחישוב מתחיל בפועל.
האם אפשר להריץ את זה על המחשב שלי?
כן, הקוד והמשקולות פתוחים. תצטרכו סביבת פייתון מתאימה וכרטיס מסך שמסוגל להחזיק מודלים כבדים של דיפוזיית וידאו.
במה זה שונה ממודל וידאו רגיל?
רוב המודלים מייצרים תנועה אקראית מתמונה בודדת או מתיאור טקסט. כאן אתם קובעים גם את תמונת הסיום וגם את מסלול התנועה המדויק בעזרת גרירת נקודות.
איך משתמשים
לוחצים על כפתורי ההעלאה כדי לטעון תמונת התחלה ותמונת סיום, מוסיפים מסלולי גרירה עם כפתור ייעודי ומקישים על Run. אפשר לכוונן סליידרים של motion_bucket_id ועוצמת ControlNet לפני ההרצה. העיבוד רץ על מאיץ A10G של חברת אנבידיה דרך מנגנון ZeroGPU, כך שהמשאב נתפס רק בזמן החישוב, אך ייתכן תור קצר אם עמוס.
הרישיון
הקוד מופץ תחת רישיון bsd-2-clause, שמאפשר שימוש חופשי כולל שינויים והפצה מסחרית תחת מתן קרדיט. לגבי התמונות שאתם מעלים והסרטונים שנוצרים, השימוש כפוף לתנאי הפלטפורמה של Hugging Face שבה מופעל הממשק.