Lucy-Edit-Dev

קוד פתוח

decart-aiother2025-09-16

diffusers
safetensors
video-to-video

מודל עריכת וידאו בקוד פתוח שמבצע שינויים מבוססי טקסט ישירות על גבי סרטון קיים. הוא שומר על התנועה והקומפוזיציה המקוריות בלי צורך במסכות ידניות.

5Bפרמטרים
31.9 GBמשקל הקבצים
485הורדות בחודש
363לייקים

מה זה

המודל מבצע משימות של וידאו לוידאו על בסיס הנחיות טקסט חופשיות, ונשען על ארכיטקטורת Wan2.2 בגודל חמישה מיליארד פרמטרים עם שילוב של VAE מכווץ ורשת DiT. המטרה המרכזית שלו היא לקחת קטע וידאו קיים ולשנות בו אלמנטים מוגדרים, למשל להחליף בגדים, להמיר דמות באדם אחר או חיה, להחליף חפצים בסצנה, או לשנות לחלוטין את הסביבה והסגנון הוויזואלי.

בניגוד לשיטות עריכה בזמן היסק שדורשות יצירת מסכות או כוונון עדין לכל סרטון, המודל הזה מגיב ישירות לפרומפטים באורך עשרים עד שלושים מילים שמכילים מילות הפעלה ייעודיות. הביצועים החזקים ביותר שלו נרשמים בהחלפת ביגוד והחלפת דמויות תוך שמירה על יציבות התנועה והזהות, כאשר יצירה באורך של שמונים ואחד פריימים מציגה עקביות זמנית טובה יותר בהשוואה לסרטונים קצרים יותר.

מתאים ל

החלפת תלבושות בווידאו
החלפת פריטי לבוש לפי טקסט חופשי תוך שמירה מלאה על תנועת הגוף והתאורה המקורית.
המרת דמויות ואפקטים
החלפת אדם בחיות, מפלצות או דמויות אנימציה בלי צורך במסכות מעקב ידניות.
החלפת חפצים דומים
החלפה של אובייקט אחד באחר באותו קנה מידה לאורך כל התנועה בקליפ.

איפה זה נופל

המודל סובל מבעיות אמינות בשינויי צבע, שנוטים להתקבל עדינים מדי או מוגזמים לחלוטין. הוספת אובייקטים חדשים כמעט תמיד נדבקת לגוף של הדמות הראשית, מה שמגביל את הפעולה הזו בעיקר לאביזרים לבישים או פריטים שמוחזקים ביד. בשינויים גלובליים של סביבה או סגנון, המודל נוטה לפגוע בזהות הדמות המקורית ולשנות אותה יחד עם הרקע.

שאלות
נפוצות

כמה זיכרון וידאו צריך בשביל להריץ אותו מקומית?

המודל שוקל קרוב לשלושים ושניים גיגה בייט ומחזיק חמישה מיליארד פרמטרים. תצטרכו מאיץ גרפי ייעודי עם זיכרון גבוה במיוחד כדי לעבד רצף וידאו מלא בלי לקרוס מחוסר זיכרון.

איך כותבים הנחיות כדי לקבל תוצאה טובה?

המודל מגיב הכי טוב להנחיות מפורטות של עשרים עד שלושים מילים. כדאי להשתמש במילות ההפעלה המוגדרות שלו כמו Change לבגדים, Replace לחפצים או דמויות, ו־Transform to לשינויי סגנון.

אפשר להריץ אותו כרגע דרך ComfyUI על המחשב?

לפי מפת הדרכים של המפתחים, תמיכה בהרצה מקומית ב־ComfyUI עדיין בפיתוח. כרגע החיבור הקיים לשם מבוסס על שרתים מרוחקים, והרצה מקומית מלאה נתמכת ישירות דרך ספריית diffusers.

איך מריצים

המשקלים מגיעים בנפח כולל של כמעט שלושים ושניים גיגה בייט המחולקים לשמונה עשר קבצים, וההרצה נתמכת דרך ספריית diffusers באמצעות פקודת התקנה פשוטה ממאגר הגיטהאב. כדי להחזיק מודל כזה של חמישה מיליארד פרמטרים בזיכרון ולבצע תהליך פעפוע על רצף פריימים מלא, תצטרכו כרטיס גרפי מקצועי או תחנת עבודה ייעודית עם נפח זיכרון וידאו משמעותי.

אם אין לכם חומרה מקומית חזקה דיה להתמודד עם קבצים בגודל הזה ועם חישובי וידאו כבדים, עדיף להשתמש ב־API המנוהל של החברה שמציע נקודות זיכוי חינמיות, או להמתין להרחבות ComfyUI מקומיות שעדיין נמצאות בפיתוח לפי מפת הדרכים שלהם.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("decart-ai/Lucy-Edit-Dev")
img = pipe("a photo").images[0]

הקבצים

18 קבצים במאגר, 31.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כמותאם אישית, ולא תחת רישיון קוד פתוח סטנדרטי כמו MIT או Apache. המשמעות היא שחובה לבדוק את תנאי השימוש המדויקים של החברה לפני שמשלבים את המשקלים במוצר מסחרי או בהפצה חיצונית.

הרישיון המלא בעמוד המודל ↗