zai-org/SCAIL-2

מה זה

במקום לפרק וידאו למפת שלד ואז לנסות להרכיב ממנה תנועה חדשה, המודל מקבל את סרטון המקור ותמונת הדמות ומייצר את הווידאו ישירות. השיטה הזו עוקפת את הבעיות הרגילות של אובדן מידע בתנועות מורכבות, ועובדת גם במצבים שבהם מודל שלדים רגיל נכשל, כמו הנפשה של בעלי חיים או החלפה של דמות אחת באחרת בתוך סצנה קיימת.

הוא אומן על שישים אלף זוגות תנועה שנוצרו ממספר מודלים קיימים, תוך שימוש במנגנון מיסוך ייעודי ובקידוד מיקום מותאם. התוצאה היא תמיכה ברזולוציות של 512p ו־704p, לצד יכולת לקלוט גם ייצוגים מורכבים יותר כמו רנדור תלת-ממדי אם בכל זאת בוחרים להזין לו כאלה.

מתאים ל

• החלפת דמויות בווידאו

  מאפשר להחליף דמות קיימת בווידאו בדמות אחרת מתמונה, בלי לבנות מודל תלת-ממד ובלי ליצור מסיכות ידניות.

• הנפשת חיות ויצורים

  פועל על תנועות של בעלי חיים ישירות מווידאו מקור, בלי להסתמך על נקודות שלד של בני אדם.

• הנפשת תמונות סטילס

  מייצר וידאו של דמות מקורית לפי תנועות שנלקחו מסרטון אחר באיכות של עד 704p.

איפה זה נופל

יש מגבלות טכניות קשיחות על ממדי הווידאו, שחייבים להתחלק ב־32 בדיוק, למשל 704 על 1280. רזולוציית 512p נתמכת אבל הדף מבהיר שהחלפת דמויות ותנועות מבוססות שלד עובדות טוב יותר ב־704p בלבד, כך שבאיכות נמוכה תקבלו כנראה עיוותים. מעבר לכך, נתוני האימון הורכבו מסינתזה של מודלים אחרים, מה שעלול לגרור שגיאות תנועה במקרים חריגים שאינם אנושיים קלאסיים.

איך מריצים

מדובר בהורדה כבדה של 76.8 גיגה-בייט שמגיעה בחלוקה לכמה רכיבים, כולל Wan VAE וטקסט-אנקודר מסוג T5. המשקל הזה דורש שרת עם כרטיס גרפי חזק מאוד וזיכרון וידאו נרחב, במיוחד אם רוצים לרנדר ברזולוציית 704p שבה התוצאות טובות יותר.

את קוד ההרצה והסביבה מושכים ממאגר הגיטהאב של הפרויקט לפי ההנחיות שם. אם אין לכם גישה לתשתיות עיבוד מקומיות בעלות זיכרון גבוה, תצטרכו להרים מכונה ייעודית בענן לצורך החישובים, שכן קובצי המודל עצמם דורשים משאבים ניכרים רק כדי להיטען לזיכרון.

pip install -U huggingface_hub
hf download zai-org/SCAIL-2

הקבצים

12 קבצים במאגר, 76.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model/1/fsdp2_rank_0000_checkpoint.pt65.6 GB
• umt5-xxl/models_t5_umt5-xxl-enc-bf16.pth11.4 GB
• models_clip_open-clip-xlm-roberta-large-vit-huge-14-onlyvisual.pth2.5 GB
• model/bias-aware-dpo-lora.pt1.2 GB
• model/relighting-lora.pt1.2 GB
• Wan2.1_VAE.pth507.6 MB
• umt5-xxl/tokenizer.json16.8 MB
• umt5-xxl/spiece.model4.5 MB
• umt5-xxl/tokenizer_config.json61.7 KB
• umt5-xxl/special_tokens_map.json6.6 KB
• README.md3.3 KB
• .gitattributes1.6 KB

הרישיון

רישיון MIT פתוח ומתירני. מותר להשתמש במודל, לשנות אותו ולשלב אותו במוצרים מסחריים ללא תשלום תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗