fffiloni/ProPainter
רץ בדפדפןfffiloniרישיון לא דווח2023-10-31
הכלי מוחק אובייקטים מתוך וידאו ומשלים את הרקע החסר. הוא מיועד למי שרוצה לנקות קטעי וידאו קצרים בלי לעבוד שעות על מסכות בעריכה.
- —הורדות בחודש
- 78לייקים
מה זה
מעלים סרטון וידאו ומקבלים גרסה נקייה שבה החלק שנבחר נעלם והרקע הושלם. הממשק מציע שני מסלולים. במסלול הידני מזינים פריימים בודדים של הווידאו יחד עם פריימים תואמים של מסכות בינאריות. במסלול האוטומטי מעלים קובץ וידאו בפורמט mp4 וכותבים בטקסט חופשי מה הנושא שרוצים להסיר.
מאחורי הקלעים הקוד מתבסס על מחקר ProPainter שפורסם במאמר 2309.03897, ונעזר בספריות כמו OpenCV ו־moviepy לעיבוד התמונה והווידאו. בסיום התהליך מופקים שני קבצי תצוגה, וידאו שמציג את המסכה שנוצרה ווידאו סופי ונקי. הדוגמאות המובנות בממשק מציגות סרטון של אביר ורצף פריימים ממוספרים להדגמת המסלול הידני.
מתאים ל
- הסרת עצמים בווידאו
מחיקת אנשים או חפצים מסרטון באמצעות תיאור טקסטואלי של מה שרוצים להעלים.
- עריכה ידנית עם מסכות
העלאת רצף פריימים יחד עם מסכות מוגדרות מראש לשליטה מלאה בתוצאה הסופית.
- בדיקת איכות של מודל המחיקה
השוואה בין סרטון המסכה לבין התוצאה הסופית כדי לבדוק את טיב ההשלמה.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה במצב paused, כך שאי אפשר להשתמש בה כרגע בעמוד המקורי. בנוסף, חילוץ אוטומטי של עצמים מבוסס על הבנת הטקסט שהקלדתם, ואם המודל מפספס את גבולות האובייקט בווידאו, המסכה תהיה עקומה ותשאיר מריחות. במסלול הידני נדרשת הכנה מראש של כל פריים ופריים של המסכה, שזו עבודה שחורה ומתישה.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה הזאת עכשיו בחינם?
כרגע לא, משום שהיא נמצאת במצב מושהה. כדי להשתמש בה יש לשכפל את הקוד לסביבה פעילה משלכם בהאגינג פייס. הפעלה כזו על חומרה דומה כרוכה בתשלום לפי שעות שימוש.
כמה זמן לוקח לעבד סרטון?
החומרה שהוגדרה היא מאיץ מסוג a10g-large, שמספק כוח עיבוד גרפי טוב לווידאו. עם זאת, אלגוריתמים של השלמת וידאו דורשים מעבר על כל פריים וחישוב תנועה. זמן העיבוד בפועל תלוי באורך הסרטון וברזולוציה שלו.
מה קורה עם הקבצים שמעלים לממשק?
הקבצים מעובדים על השרת שמריץ את הדוקר דרך ספריית moviepy וכלים מקומיים. מכיוון שהרישיון ותנאי הפרטיות לא פורטו, עדיף לא להעלות סרטונים רגישים או פרטיים. כל החומרים נשמרים זמנית בדיסק המקומי של המכונה לצורך הפקת הווידאו.
האם אפשר להריץ את הכלי הזה במחשב מקומי?
כן, הקוד בנוי מעל סביבת דוקר ומסתמך על קוד מקור וספריות פייתון סטנדרטיות. תצטרכו להוריד את הקבצים, להגדיר את התלויות ולהחזיק כרטיס מסך חזק של אנבידיה. בלי מאיץ גרפי מתאים, הריצה המקומית תהיה אטית מאוד עד בלתי אפשרית.
איך משתמשים
בוחרים לשונית לפי סוג העבודה. אם עובדים באוטומטי, מעלים קובץ mp4, מקלידים את שם האובייקט שרוצים להעיף בלי רווחים או תווים מיוחדים בשם הפרויקט, ולוחצים Submit. במסלול הידני מעלים את התמונות והמסכות. המערכת הוגדרה לרוץ על מאיץ גרפי a10g-large בתוך סביבת דוקר, אבל כרגע היא במצב מושהה. אי אפשר להריץ אותה ישירות בדפדפן בלי להפעיל או לשכפל אותה מחדש.
הרישיון
הרישיון של היישום לא דווח במאגר. המשמעות היא שאין הרשאה מפורשת לשימוש מסחרי בקוד או בפלטים, ולא ברור מה תנאי השמירה של הקבצים שמעלים לענן.