animegan-v2-for-videos
רץ בדפדפןnaterawרישיון לא דווח2022-03-02
הכלי מעבד סרטוני וידאו ומחיל עליהם את סגנון הציור של מודל AnimeGAN-v2 פריים אחר פריים. הוא מתאים למי שרוצה להפוך קטע מצולם קצר לאנימציה ישירות בדפדפן.
- —הורדות בחודש
- 152לייקים
מה זה
אתם מעלים קובץ וידאו קיים או מקליטים קטע קצר ישירות ממצלמת הרשת. הממשק נותן לכם שני סליידרים לקביעת נקודת ההתחלה של הקטע בשניות ומשך הזמן שתרצו לעבד, בין שניה אחת לעשר שניות בלבד. התוצאה שמתקבלת היא קובץ וידאו חדש שבו התמונות עברו התאמה לסגנון אנימה.
מאחורי הקלעים הקוד מפרק את הווידאו באמצעות ספריית EncodedVideo, חותך את הפריימים במרכז, וממיר אותם לטנזורים כדי להריץ עליהם את המודל ב־PyTorch. לאחר שהרשת מעבדת כל תמונה בנפרד, המערכת תופרת את הפריימים בחזרה ומייצאת קובץ וידאו שלם לצפייה ולהורדה.
מתאים ל
- המרת סרטוני רשת קצרים
עיבוד של קליפים קצרים באורך כמה שניות כדי לבדוק איך דמויות אמיתיות נראות בסגנון אנימה.
- ניסויי מצלמת רשת
הקלטה מהירה של כמה שניות ישירות מהמצלמה במחשב לבדיקת תגובת המודל לתנועות פנים.
- בדיקת המודל על וידאו
כלי עזר למי שרוצה לראות את ההתנהגות של מודל התמונות כשהוא רץ על רצף פריימים מצולם.
איפה זה נופל
הבעיה המרכזית היא שהיישום נמצא כרגע במצב של תקלת ריצה ולא עובד בדפדפן. מעבר לזה, המערכת מוגבלת מראש לעשר שניות של וידאו בלבד ולא מאפשרת להמיר סרטונים ארוכים. העיבוד נעשה פריים אחר פריים בלי התחשבות ברצף התנועה, מה שעלול לייצר ריצודים בתוצאה הסופית, ושליטת המשתמש בקצב הפריימים נוטרלה לחלוטין בקוד המקור.
שאלות
נפוצות
האם השימוש בכלי עולה כסף?
הגישה לעמוד בהאגינג פייס פתוחה בחינם לכל מי שגולש ברשת. אין צורך להכניס אמצעי תשלום, אבל כרגע יש שגיאת מערכת שמונעת מהכלי לעבוד בפועל.
כמה זמן לוקח לעבד סרטון?
הזמן תלוי באורך הקטע שבחרתם בסליידר, שנע בין שניה לעשר שניות. העיבוד מתבצע על מאיץ גרפי מסוג T4, אך המעבר על כל פריים בנפרד יוצר המתנה מורגשת לפני שהווידאו מוכן.
האם אפשר להריץ את הקוד באופן מקומי?
כן, קוד ה־Gradio והעיבוד זמינים בעמוד הפרויקט וניתן להוריד אותם למחשב האישי. כדי להריץ אותו עצמאית תצטרכו סביבת פייתון שכוללת את PyTorch והספריות הנלוות שמופיעות בקוד.
במה הכלי שונה מהמודל המקורי?
המודל המקורי נבנה לעיבוד תמונות בודדות. היישום הזה עוטף אותו בסקריפט שמפרק וידאו לפריימים, מריץ את הרשת על כל תמונה, ומחבר אותן מחדש לסרטון גמור.
איך משתמשים
נכנסים לממשק ובוחרים בין לשונית של העלאת קובץ לבין לשונית של הקלטה ממצלמת הרשת. בוחרים את נקודת ההתחלה ואת אורך הקטע, ולוחצים על כפתור ההרצה כדי להתחיל בעיבוד. הכלי יושב על חומרת T4-small, כך שעיבוד של מספר שניות בודדות לוקח קצת זמן בגלל המעבר על כל פריים בנפרד. כרגע מוגדר בעמוד מצב שגיאת ריצה, כך שהממשק לא מגיב בפועל עד שהיוצר יתקן את התקלה בקוד.
הרישיון
הפרויקט לא כולל דיווח על רישיון שימוש בקוד או במודל. במצב כזה אין אישור מפורש לשימוש מסחרי בתוצאות, ולא ברור מה הזכויות על התוכן שמעובד דרך השרתים.