image-to-video-film

מה זה

מעלים עד שש תמונות סטילס לפי סדר, מגדירים שני פרמטרים ומקבלים קובץ וידאו מוגמר. האפליקציה מחברת את התמונות לסרטון אחד ויוצרת פריימים מלאכותיים ביניהן כדי שהמעבר ייראה רציף ולא קופצני. ההגדרות היחידות בממשק הן מספר סבבי האינטרפולציה שנעים בין 2 ל־10, וקצב הפריימים לשנייה שנע בין 15 ל־60 fps.

מאחורי הקלעים הקוד מוריד ומריץ את המודל akhaliq/frame-interpolation-film-style, שמשתמש בטכניקת FILM של גוגל לאינטרפולציית פריימים ומבוסס על TensorFlow וספריית mediapy לעיבוד הווידאו. אין בממשק תמונות לדוגמה שמגיעות מוכנות מראש, כך שחייבים להעלות קבצים עצמאיים כדי לראות תוצאה כלשהי.

מתאים ל

• הנפשת רצף איורים

  חיבור של עד שישה ציורים או איורים דומים לסרטון קצר שזז ברציפות.

• יצירת סרטוני מעבר

  הפקת סרטון קצר שמציג מעבר מדורג בין כמה מצבי צילום של אותו אובייקט.

• בדיקת אינטרפולציה מקומית

  לקיחת קוד המקור של Gradio כבסיס להרצה מקומית של מודל הפילם.

איפה זה נופל

הבעיה המיידית היא שהחלל שבור ולא עובד, כך שאין אפשרות לייצר וידאו ישירות מהדפדפן. מעבר לכך, הממשק מוגבל לקליטת שש תמונות בלבד ואין אפשרות להזין סרטון קיים כדי להעלות לו את קצב הפריימים. כדאי לזכור שהמודל מנסה לנחש תנועה בין נקודות קבועות, ואם ההבדל הזוויתי או התנועתי בין התמונות שתעלו יהיה גדול מדי, תקבלו עיוותים ומריחות מוזרות במקום תנועה חלקה.

איך משתמשים

בפועל אתם גוררים קבצי תמונה לתיבות Frame 1 עד Frame 6, מכוונים את הסליידרים של קצב הפריימים ומספר האינטרפולציות, ולוחצים על Generate Video. כרגע אי אפשר להריץ את זה בדפדפן בכלל כי הדף תקוע על שגיאת בנייה BUILD_ERROR. גם אם הקוד היה עולה, הוא מוגדר לרוץ על חומרת cpu-basic חלשה בלי מאיץ גרפי, כך שעיבוד וידאו כזה על מעבד רגיל היה לוקח דקות ארוכות מאוד לכל סרטון קצרצר.

הרישיון

הרישיון מוגדר כ־unknown ולא צוין בעמוד. כשאין רישיון ברור לא כדאי להעלות חומרים רגישים או מסחריים, ומבחינה משפטית אין אישור מפורש לשימוש בתוצרים מעבר לבדיקה פרטית.

הרישיון המלא ב־Hugging Face ↗