ControlNet-Video
רץ בדפדפןfffiloniרישיון לא דווח2023-02-17
הכלי מעבד סרטוני וידאו קצרים דרך מודלי ControlNet כדי לשנות את הסגנון הוויזואלי שלהם לפי תיאור טקסטואלי. הוא מיועד ליוצרי תוכן שרוצים להנפיש מחדש תנועות או דמויות מסרטון קיים.
- —הורדות בחודש
- 429לייקים
מה זה
אתם מעלים סרטון מקור או קובץ GIF קצר, כותבים הנחיית טקסט ובוחרים משימת בקרה מתוך תפריט הכולל Canny, עומק, Hed, קווי Hough, מפות Normal, תנוחת גוף Pose, שרבוט או סגמנטציה. הפלט כולל את הווידאו המעובד הסופי, סרטון שמציג את העיבוד המקדים של המזהה שנבחר, וקבצים להורדה ישירה.
מאחורי הקלעים רצים Stable Diffusion בגרסה 1.5 בשילוב מודלי ControlNet של lllyasviel ומודולים מקובצי safetensors. הממשק מאפשר גם להגדיר מודל בסיס מותאם אישית דרך הזנת מאגר ושם קובץ, בנוסף לכיוונון צעדי דיפוזיה ועוצמת הנחיה.
מתאים ל
- החלפת סגנון לפי תנוחה
חילוץ שלד תנועה של אדם מסרטון קיים והלבשת דמות חדשה בעיצוב שונה לפי טקסט.
- הנפשת שרבוטים וקווים
שימוש בזיהוי קצוות Canny או Hough להמרת צילום וידאו אמיתי לסגנון איור מונפש.
- עיבוד תנועה מקובצי GIF
טעינת אנימציה קצרה כקובץ GIF ויצירת גרסה ויזואלית חלופית תוך שמירה על המבנה.
איפה זה נופל
המגבלה הבולטת ביותר היא שהאפליקציה במצב מושהה ואינה זמינה לעבודה מיידית. מעבר לכך, הקוד מגביל את האורך המרבי של הווידאו ל־5 שניות בלבד, כך שלא ניתן לעבד סרטונים מלאים. מודל ControlNet פועל פריים אחרי פריים בלי מנגנון מובנה לשמירה על עקביות בין פריימים, מה שעלול לייצר ריצודים רבים בתנועה.
שאלות
נפוצות
האם האפליקציה פעילה כרגע בדפדפן?
לא, נכון לעכשיו המרחב נמצא במצב PAUSED ואינו מקבל בקשות. כדי להשתמש בו צריך לשכפל את הקוד לחשבון Hugging Face אישי ולהריץ אותו על חומרה מתאימה בתשלום. בלי הפעלה כזו הממשק לא יפיק תוצאות.
מה מגבלת האורך של הסרטון שאפשר להעלות?
הסליידר בממשק מאפשר לחתוך את הווידאו לטווח שבין שנייה אחת ל־5 שניות לכל היותר. המערכת חותכת את הקטע שנבחר לפני שליחתו לדיפוזיה כדי למנוע קריסה של הזיכרון הגרפי. סרטונים ארוכים יותר ייחתכו בהתאם להגדרה זו.
איזו חומרה נדרשת כדי להריץ את הכלי עצמאית?
האפליקציה הוגדרה במקור על גבי חומרת a10g-large. הרצה של מודלי ControlNet ו־Stable Diffusion דורשת מעבד גרפי חזק עם זיכרון וידאו משמעותי כדי לעבד סדרת תמונות במהירות סבירה. הרצה על מעבד רגיל תהיה איטית ביותר עד בלתי מעשית.
איך משתמשים
בפועל מעלים את הקובץ, מגדירים חיתוך וידאו באורך של שנייה אחת עד 5 שניות באמצעות הסליידר, ולוחצים על כפתור יצירת הווידאו. כרגע האפליקציה נמצאת במצב מושהה ולא רצה ברשת, כך שלא ניתן לבצע עיבוד ישיר בדפדפן בלי להפעיל אותה מחדש על חומרה פעילה.
הרישיון
הרישיון של המרחב עצמו לא דווח בקוד או בתיעוד. המשמעות היא שאין הרשאה מוגדרת וברורה לשימוש מסחרי בקוד הממשק, ויש לבדוק את תנאי הרישיונות של מודלי הבסיס הנלווים, כמו Stable Diffusion v1.5, לפני שימוש בתוצרים.