Rerender

מה זה

אתם מעלים קובץ וידאו לממשק, כותבים הנחיית טקסט, ובוחרים מודל בסיס של סטייבל דיפיוז'ן יחד עם סוג בקרה כמו קווי מתאר בשיטת קאני, HED או מפת עומק. התוצאה הסופית מתקבלת כווידאו מעובד, לצד תצוגה מקדימה של הפריים הראשון וסרטון של פריימי המפתח.

מאחורי הממשק רץ צינור עיבוד שמחבר את קונטרול-נט, מודל זרימה אופטית בשם GMFlow, ומודל VAE של סטביליטי. העבודה נשענת על מנגנון מובנה של תשומת לב בין פריימים, שילוב עיוותים לפי תנועה ושימור צבע בשיטת AdaIN, כדי למנוע הבהובים בין התמונות. בעמוד מוגדרות דוגמאות מובנות מראש של הגדרות להרצה מהירה.

מתאים ל

• החלפת סגנון לווידאו

  המרת צילום וידאו חי לסגנון אמנותי מבוסס טקסט עם שמירה על קווי המתאר והתנועה.

• בדיקת פריימים בודדים

  הפקה של פריים מפתח ראשון כדי לכוונן סגנון והנחיות שלילה לפני עיבוד הסרטון המלא.

• עיבוד מונחה עומק

  שימוש במפות עומק של מידאס לחילוץ נפח מהסצנה והלבשת טקסטורות חדשות.

איפה זה נופל

הבעיה המיידית היא הסטטוס של האפליקציה, שמציג שגיאת ריצה ולא מאפשר שום פעולה. מעבר לזה, הקוד זורק שגיאה אם הווידאו קצר מדי, ומחייב יצירה מוצלחת של פריים ראשון לפני מעבר לפריימים הבאים. מודלים מהסוג הזה דורשים כוונון עדין של עשרות סליידרים בממשק, כך שקשה להגיע לתוצאה נקייה בלי התעסקות ארוכה.

איך משתמשים

הממשק בנוי בשלבים. אפשר ללחוץ על הפקת הפריים הראשון, לבדוק את התוצאה, להמשיך להפקת פריימי המפתח, ולבסוף להריץ את פעפוע הווידאו כולו, או פשוט ללחוץ על כפתור הרצה מלאה. החומרה שהוגדרה להרצה היא a10g-large, מה שאמור לספק כוח עיבוד גרפי סביר לחישובי זרימה ודיפוזיה, אבל כרגע העמוד מדווח על שגיאת ריצה כללית ואי אפשר להריץ בו שום עיבוד בפועל.

הרישיון

הרישיון לא דווח במאגר. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בפלטים, וההגנות המשפטיות על החומרים שמועלים לשם אינן מוגדרות.

הרישיון המלא ב־Hugging Face ↗