Wan-Dancer-14B

מה זה

בניגוד למודלים רגילים של תמונה לווידאו שקורסים או מאבדים עקביות אחרי שניות בודדות, הכלי הזה מכוון ליצירת סרטוני ריקוד באורך דקות. הוא עובד בשני שלבים נפרדים, קודם הוא מנתח את קובץ האודיו ומייצר שלד תנועה גלובלי של פריימים מרכזיים, ורק לאחר מכן מריץ שלב שני שמעדן את התוצאה לרזולוציה גבוהה.

הגישה הזו מאפשרת לו לשמור על זהות הרקדן ועל קצב מוזיקלי לאורך זמן. החבילה מגיעה עם קובצי הגדרות מובנים לסגנונות מוגדרים מראש כמו היפ הופ, קיי פופ, סטפס, ריקוד לטיני ומחול סיני מסורתי, והיא נשענת על תשתית שמשלבת בין DiffSynth-Studio לבין Wan2.1.

מתאים ל

• הנפשת תמונות לקליפים

  יצירת קטעי ריקוד מלאים באורך של דקה מתוך תמונת דמות בודדת ורצועת אודיו.

• הפקת תוכן לרשתות חברתיות

  התאמת דמות של יוצר לסגנונות ריקוד פופולריים כמו קיי פופ או היפ הופ ישירות מתוך מוזיקה.

• בדיקת כוריאוגרפיה וירטואלית

  בחינת תנועות גוף מסונכרנות לסגנונות ספציפיים כמו סטפס או ריקוד לטיני עבור מודלים דיגיטליים.

איפה זה נופל

המודל מתוכנן לתהליך עבודה נוקשה מאוד בשני שלבים, מה שאומר שזמן היצירה ארוך במיוחד ומשאבי החישוב כפולים. הוא נשען על קובצי הנחיות טקסטואליים ספציפיים לכל סגנון ריקוד, כך שסטייה מהסגנונות המובנים תדרוש מכם ניסוי וטעייה עם פרומפטים מותאמים. בנוסף, למרות ההבטחה לרציפות לאורך דקות, סרטונים ארוכים דורשים העלאה משמעותית של צעדי הדגימה כדי להימנע מעיוותים גופניים.

איך מריצים

קובצי המודל תופסים כמעט שמונים גיגה בייט, כך שאי אפשר להריץ אותו על כרטיס מסך ביתי רגיל. דרוש כאן שרת עם כרטיסי אנבידיה מקצועיים עתירי זיכרון, יחד עם התקנה של ספריות כמו flash-attn, xfuser וגרסה ייעודית של פייטורץ עם קודה 12.4.

תהליך ההרצה דורש הפעלה ידנית של שני סקריפטים נפרדים, אחד ליצירת הווידאו הגלובלי בארבעים ושמונה צעדי דגימה, והשני לליטוש המקומי בעשרים וארבעה צעדים תוך שימוש בפלט של השלב הראשון. אם אתם רק רוצים לבדוק התאמה לפרויקט לפני שמרימים תשתית יקרה, עדיף להריץ בדיקות ראשונות בסביבות ההדגמה ב־HuggingFace או ModelScope.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("Wan-AI/Wan-Dancer-14B")
img = pipe("a photo").images[0]

הקבצים

23 קבצים במאגר, 79.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• global_model.safetensors34.5 GB
• local_model.safetensors34.5 GB
• models_t5_umt5-xxl-enc-bf16.pth11.4 GB
• models_clip_open-clip-xlm-roberta-large-vit-huge-14.pth4.8 GB
• Wan2.1_VAE.pth507.6 MB
• xlm-roberta-large/tokenizer.json17.1 MB
• google/umt5-xxl/tokenizer.json16.8 MB
• xlm-roberta-large/sentencepiece.bpe.model5.1 MB
• google/umt5-xxl/spiece.model4.5 MB
• assets/3001.jpg552.3 KB
• assets/logo.png220.1 KB
• assets/1001.jpg155.5 KB
• assets/2001.jpg119.2 KB
• assets/5001.jpg116.9 KB
• assets/4001.jpg100.2 KB
• google/umt5-xxl/tokenizer_config.json61.7 KB
• README.md10.6 KB
• google/umt5-xxl/special_tokens_map.json6.6 KB
• .gitattributes2.9 KB
• xlm-roberta-large/tokenizer_config.json418 B
• xlm-roberta-large/special_tokens_map.json280 B
• config.json250 B
• configuration.json64 B

הרישיון

רישיון אפאצ'י 2.0 פתוח לחלוטין. מותר להשתמש במודל לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו כחלק ממוצר שלכם, כל עוד שומרים על תנאי הרישיון והודעות זכויות היוצרים המקוריות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗