Pix2Pix-Video
רץ בדפדפןfffiloniרישיון לא דווח2023-02-08
מעלים סרטון קצר, כותבים הוראה פשוטה בטקסט, ומקבלים גרסה ערוכה בסגנון חדש. הכלי מיועד למי שרוצה לבדוק עריכת וידאו מבוססת בינה מלאכותית בלי להסתבך עם קוד.
- —הורדות בחודש
- 566לייקים
מה זה
אתם מעלים קובץ וידאו, מקלידים הנחיה כמו להפוך את הסצנה לפסל שיש או ללבה רותחת, ובוחרים נקודת חיתוך. מתחת למכסה המנוע רץ המודל timbrooks/instruct-pix2pix, שמיועד במקור לתמונות בודדות. הקוד מפרק את הווידאו באמצעות OpenCV ו־MoviePy, מעבד אותו ומחזיר קובץ וידאו ערוך.
הממשק מציג שתי דוגמאות מוכנות מראש. אחת לוקחת סרטון והופכת אותו לפסל שיש, והשנייה הופכת צילום של אוקיינוס לנהר לבה, שתיהן באורך של ארבע שניות וברזולוציה של 512 על 512 פיקסלים.
מתאים ל
- עריכת סגנון לקליפים קצרים
הפיכת סרטון של עד חמש שניות למראה של שיש או לבה לפי הנחיית טקסט פשוטה.
- בדיקת המודל על וידאו
בחינה מהירה של התנהגות מודל התמונות של pix2pix כשמזינים לו רצף פריימים.
- הפקת אפקטים מרוצדים
יצירת אנימציות קצרות עם מראה מרוצד ולא עקבי בכוונה, ישירות מתוך וידאו קיים.
איפה זה נופל
הבעיה הגדולה כאן היא שהמודל מעבד כל פריים בנפרד ולא מבין תנועה ברצף, מה שמייצר ריצודים כבדים בין התמונות. הממשק גם חותך את הווידאו לחמש שניות לכל היותר, כך שאי אפשר להזין קליפים ארוכים. בנוסף, מנגנון בדיקת הבטיחות מנוטרל לחלוטין בקוד המקור.
שאלות
נפוצות
האם אפשר להשתמש בה כרגע בחינם באתר?
לא באופן ישיר כרגע. האפליקציה נמצאת במצב מושהה בשרת, ולכן צריך להעתיק את הקוד או להפעיל אותה מחדש בחשבון שלכם כדי שהיא תעבוד.
כמה זמן סרטון אפשר לעבד בה?
הסליידר בממשק מגביל את האורך לחמש שניות לכל היותר, עם מינימום של שנייה אחת. אי אפשר להעלות סרטונים ארוכים יותר בלי לשנות את הקוד.
אפשר להריץ את הקוד באופן מקומי במחשב?
כן. מדובר בסקריפט פייתון קצר שמשתמש ב־diffusers וב־Gradio, אך נדרש כרטיס מסך מתאים כדי להריץ את המודל בצורה סבירה.
למה התוצאה בווידאו קופצת ולא חלקה?
המודל המקורי אומן על תמונות סטילס בלבד. הוא עורך כל פריים בנפרד ללא מודעות לפריים שלפניו או אחריו, מה שיוצר חוסר עקביות בין התמונות.
איך משתמשים
גוררים סרטון לנגן, כותבים הוראה בתיבת הטקסט, קובעים ערך סיד אם רוצים תוצאה עקבית, ובוחרים כמה שניות לחתוך בעזרת סליידר שמוגבל לטווח של שנייה עד חמש שניות בלבד. לאחר מכן לוחצים על כפתור ההפקה. השרת מוגדר לרוץ על מאיץ גרפי מסוג L4, אבל כרגע האפליקציה נמצאת במצב מושהה ולא פעילה ישירות בדפדפן בלי הפעלה מחדש.
הרישיון
האפליקציה פורסמה בלי להצהיר על רישיון שימוש מפורש. המשמעות היא שאין הרשאה ברורה לגבי שימוש מסחרי בקוד, וכל זכויות היוצרים שמורות ליוצר המקורי. כדאי להתייחס אליה ככלי לבדיקות בלבד ולא לבנות עליה לפרויקטים מסחריים.