SVFR-demo
רץ בדפדפןfffiloniרישיון לא דווח2025-01-11
הכלי משחזר פנים בסרטוני וידאו באיכות ירודה, צובע אותם ומתקן אזורים פגומים. הוא מיועד למי שרוצה לבדוק שיקום פנים בווידאו קצר ישירות בדפדפן.
- —הורדות בחודש
- 189לייקים
מה זה
מעלים סרטון וידאו באיכות נמוכה, בוחרים משימות כמו שחזור פנים, צביעה או השלמת אזורים חסרים, ואפשר להוסיף גם תמונת מסכה. בצד השני מקבלים שני סרטוני פלט: אחד שמציג את אזור הפנים שזוהה ונחתך מהווידאו המקורי, והשני הוא הווידאו המשוחזר הסופי.
מאחורי הקלעים רץ שילוב כבד של מודלים. הבסיס נשען על Stable Video Diffusion לחיזוי והשלמת תנועה, לצד מקודד תמונה של CLIP ומודל זיהוי פנים InsightFace לאיתור ויישור תווי הפנים. המערכת מחברת ביניהם באמצעות ארכיטקטורת UNet ייעודית ומפענח של VAE כדי לייצר רצף וידאו יציב ועקבי בין הפריימים.
מתאים ל
- שחזור פנים מטושטשות
חידוד והעלאת חדות של תווי פנים בסרטונים ישנים או באיכות נמוכה של עד 4 שניות.
- צביעת פנים בווידאו
הוספת צבע לפנים בסרטוני וידאו ישנים בשחור לבן באמצעות סימון משימת הצביעה.
- בדיקת המודל לפני הטמעה
בחינת יכולות המודל SVFR על קטעים קצרים בלי להגדיר סביבת פיתוח מקומית.
איפה זה נופל
המגבלה הבולטת ביותר בממשק הזה היא אורך הווידאו. הקוד חותך כל סרטון שמזינים לארבע שניות לכל היותר בקצב של 24 פריימים לשנייה, כך שאי אפשר לבדוק כאן קטעים ארוכים. בנוסף, אם תרצו לבצע תיקון של אזורים פגומים, תצטרכו להכין ולהעלות קובץ מסכה ידנית, והממשק לא מציע כלי ציור מובנה על גבי הווידאו.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הגישה לממשק דרך הדפדפן חופשית לגמרי. היא רצה על משאבי חומרה שיתופיים שמוקצים אוטומטית.
כמה זמן לוקח לסרטון להתעבד?
זה תלוי בעומס על השרת, אבל בגלל השימוש במודל דיפוזיה לווידאו על גבי כרטיס A10G, העיבוד של ארבע שניות לוקח בדרך כלל בין כמה עשרות שניות לכמה דקות. אם השרת היה כבוי, תהיה גם המתנה קצרה להפעלתו.
האם אפשר להריץ את הכלי על המחשב שלי?
כן, הקוד והמשקלים של SVFR ושל Stable Video Diffusion זמינים להורדה. תצטרכו מחשב עם כרטיס מסך חזק של אנבידיה וסביבת פייתון מוגדרת כדי להריץ את הסקריפט המקורי בלי מגבלת ארבע השניות.
במה ההדגמה הזו שונה מהמודל המקורי?
ההבדל העיקרי הוא המגבלה הקשיחה על אורך הקלט. בעוד שהמודל עצמו מסוגל לעבד רצפים ארוכים יותר, הממשק הזה חותך את הווידאו לארבע שניות בלבד כדי לחסוך במשאבי חישוב משותפים.
איך משתמשים
גוררים סרטון לנגן, מסמנים את המשימות הרצויות בתיבות הבחירה, משנים מספר סיד אם רוצים תוצאה שונה ולוחצים על כפתור השליחה. אין צורך לפתוח חשבון או להירשם.
העיבוד רץ על מאיץ גרפי מסוג A10G שמוקצה לפי דרישה. מכיוון שמדובר בעיבוד וידאו כבד עם מודל דיפוזיה, החישוב לוקח זמן ולא קורה מיידית. שרת שיתופי גם עלול להכניס אתכם לתור אם משתמשים אחרים מריצים במקביל.
הרישיון
היוצר לא ציין רישיון שימוש במאגר. בלי רישיון מוגדר, אין היתר ברור לשימוש מסחרי בקוד או בתוצרים, ולא ידוע מה מדיניות שמירת הקבצים בשרת שמעבד את הסרטונים שלכם. אם אתם עובדים עם חומרים רגישים או מסחריים, עדיף לא להעלות אותם לכאן.