outpaint-video-zoom

מה זה

מעלים תמונה ומוסיפים תיאור טקסטואלי אם רוצים לכוון את מה שיופיע מסביב. בתגובה מקבלים קובץ וידאו שמציג תנועת זום אאוט רציפה, כאשר בכל שלב נחשף שטח חדש שנבנה מסביב לתמונה המקורית. בממשק משובצות דוגמאות מובנות עם הקבצים hide.png ו־disaster.png.

מאחורי הקלעים רץ שילוב של מודל RealVisXL_V5.0_Lightning יחד עם sdxl-vae-fp16-fix לסגירת עיוותים. על השליטה והשלמת הפרטים אחראים ControlNet Union ל־SDXL ומתאם של TencentARC, כאשר קוד הצינור מבוסס על StableDiffusionXLFillPipeline יחד עם חישובי פריימים ואינטרפולציה דרך OpenCV.

מתאים ל

• יצירת סרטוני חשיפה

  הפיכת תמונה דוממת לאנימציית התרחקות שחושפת רקע הולך וגדל לצורך שיתוף ברשתות.

• הרחבת גבולות של תמונה קיימת

  בניית סביבה רחבה סביב דמות או אובייקט קיים באמצעות הנחיות טקסט ומודל מילוי ייעודי.

• הנפשת ממים ותמונות מוכרות

  בדיקת תרחישים ויזואליים סביב תמונות ידועות, כפי שמודגם בדוגמאות המובנות בממשק.

איפה זה נופל

הבעיה המרכזית כרגע היא מצב שגיאת הבנייה של היישום, מה שאומר שאי אפשר להריץ אותו כלל בדפדפן עד שהמפתח יתקן את הקוד. מעבר לכך, אי אפשר לבצע כאן השלמת תמונה בודדת באופן ישיר כי כפתור היצירה הרגיל מוסתר בקוד, והמיקוד הוא רק בווידאו. מאחר שמספר הצעדים מוגבל ל־12 לכל היותר בגלל מודל הלייטנינג, חופש הפעולה בשחזור פרטים מורכבים נשאר מצומצם.

איך משתמשים

טוענים תמונה, בוחרים יחס תצוגה וכיוון הצמדה, ולוחצים על הכפתור ליצירת סרטון האאוטפיינטינג. תחת ההגדרות המתקדמות אפשר לקבוע בין 2 ל־24 חזרות, מספר צעדים שנבחר כברירת מחדל על 8, וקצב של 24 פריימים לשנייה. המערכת מוגדרת על חומרת zero-a10g שמקצה כוח עיבוד לפי דרישה, אך נכון לעכשיו העמוד מציג שגיאת בנייה ולא מתחיל ריצה.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמתיר שימוש, שינוי והפצה כולל שימוש מסחרי בקוד. לגבי המודלים הספציפיים והתכנים שמעלים, יש לבדוק את תנאי השימוש של RealVisXL ו־ControlNet Union בנפרד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗