zeroscope-XL

מה זה

התהליך כאן לא מייצר וידאו מאפס. אתם מעלים קובץ וידאו קיים וכותבים את שורת הטקסט המדויקת ששימשה ליצירת הקליפ המקורי, כפי שמוסבר במפורש בשדה הקלט. בנוסף, הממשק כולל מחוון לשליטה על עוצמת הניקוי, denoise strength, שנע בין ערך של 0.6 לבין 0.9 עם ברירת מחדל של 0.66.

מאחורי הקלעים הקוד טוען באמצעות diffusers את המודל cerspense/zeroscope_v2_XL עם מתזמן DPMSolverMultistepScheduler ברמת דיוק של float16. העיבוד לוקח את הווידאו שהעליתם, מעביר אותו דרך המודל עם הטקסט שהזנתם, ומייצא קובץ וידאו חדש בשם xl_result.mp4 שמוצג ישירות בחלון התוצאה.

מתאים ל

• שדרוג סרטון קיים

  העלאת קליפ וידאו ראשוני ושיפור המראה שלו בעזרת מודל הדיפוזיה והנחיית טקסט תואמת.

• כוונון עוצמת שינוי הווידאו

  שינוי מחוון ה־denoise בין 0.6 ל־0.9 כדי לקבוע כמה המודל ישנה את הפריימים המקוריים.

• בדיקת המודל zeroscope XL

  התנסות מעשית ביכולות של מודל הווידאו מבוסס הקוד הפתוח דרך ממשק דפדפן פשוט.

איפה זה נופל

הבעיה המרכזית כרגע היא שההדגמה מושהית לחלוטין ולא תרוץ אם תיכנסו אליה. מעבר לזה, מספר צעדי ההסקה, inference steps, מקובע בקוד לערך 40 ומנוטרל לשינוי, כך שאין לכם שליטה על כמות הצעדים. האפליקציה גם לא מייצרת וידאו מטקסט בלבד, אלא תלויה לחלוטין בסרטון קיים שאתם חייבים לספק מראש.

איך משתמשים

בפועל גוררים סרטון לתיבת ההעלאה, מדביקים את התיאור הטקסטואלי, מכוונים את הסליידר של עוצמת הסינון ולוחצים על Submit. בקוד מוגדר שימוש במאיץ a10g-large, אבל כרגע האפליקציה נמצאת במצב PAUSED ולכן אי אפשר להריץ אותה בדפדפן בלי הפעלה מחדש. כשזה פועל, יצירת הווידאו מסתיימת בהצגת הקובץ המוגמר וכפתור שיתוף לקהילה.

הרישיון

הרישיון של המרחב לא דווח. המשמעות היא שאין תנאי שימוש ברורים לשימוש מסחרי, ומומלץ לבדוק את תנאי המודל המקורי cerspense/zeroscope_v2_XL לפני שמסתמכים על התוצרים שלו.

הרישיון המלא ב־Hugging Face ↗