GPT
הוספת כלי
W

Wan2.2-VACE-Fun-A14B

קוד פתוח

alibaba-paiapache-2.02025-09-10

  • videox_fun
  • diffusers
  • safetensors
  • video
  • video-generation

מודל בקרת וידאו מבוסס VACE שמייצר סרטונים לפי תנועה, תמונה או מסלול מוגדר. שווה לבדוק אותו רק אם שליטה מדויקת בתוצאה חשובה לכם יותר מרינדור טקסט חופשי.

  • 75.7 GBמשקל הקבצים
  • 4,280הורדות בחודש
  • 125לייקים

מה זה

המשקלים האלה מתלבשים על מודל הבסיס Wan2.2-T2V-A14B ונועדו לתת שליטה צמודה במה שקורה בפריים. במקום לזרוק פרומפט ולקוות לטוב, מזינים לו תנאי הכוונה כמו מפות עומק, שלדי תנועה של Pose, קווי Canny או מסלולי תנועה מוגדרים מראש. בנוסף הוא מאפשר להגדיר דמות או אובייקט ספציפי מתמונת רפרנס ולייצר איתו וידאו עקבי.

הוא מפיק סרטונים באורך 81 פריימים בקצב של 16 פריימים לשנייה, ברזולוציות של 512, 768 או 1024. ההבדל בינו לבין מודל טקסט לוידאו רגיל בגודל 14B הוא היכולת לחבר תנועה קיימת מווידאו אחד לתוך יצירה חדשה לגמרי, במקום להסתמך רק על תיאור מילולי שתמיד מאבד פרטים בדרך.

מתאים ל

  • הנפשת דמויות משלד תנועה

    לקיחת קובץ תנועה מבוסס Pose והלבשת דמות מתמונת רפרנס על גבי התנועות.

  • הכוונת תנועה לפי עומק

    שימוש במפות Depth כדי להבטיח שהווידאו שנוצר ישמור על יחסי מרחק מדויקים בסצנה.

  • יצירה לפי מסלול מוגדר

    שליטה ידנית במסלול של אובייקטים בתוך הפריים בעזרת Trajectory Control.

איפה זה נופל

המודל תומך רשמית רק באנגלית ובסינית, כך שפרומפטים בעברית פשוט לא יעבדו כמו שצריך. מעבר לזה, קוונטיזציה ל־float8 פוגעת בביצועים לפי הדוקומנטציה, וכל תהליך העבודה דורש הכנת קלטים מורכבים כמו וידאו שלד או מפות עומק לפני שבכלל מתחילים. אם אין לכם פייפליין שמייצר את נתוני הבקרה האלה מראש, אין לכם מה לעשות עם המשקולות האלה.

שאלות
נפוצות

האם המודל ירוץ על כרטיס מסך ביתי?

כן, התיעוד מאשר ריצה על כרטיסי 12GB כמו RTX 3060, אבל זה דורש שימוש במצב פריקת שכבות למעבד או קוונטיזציית float8, מה שיאט את יצירת הווידאו באופן משמעותי.

האם הוא מקבל הנחיות בעברית?

לא, המודל אומן ותומך רשמית רק באנגלית ובסינית. כדי לקבל תוצאות מדויקות תצטרכו לכתוב את הפרומפטים באחת משתי השפות האלה.

מה ההבדל בינו לבין מודל T2V רגיל?

הוא לא מייצר וידאו רק ממילים. הוא דורש או מקבל קלטי בקרה נוספים, כמו סרטון שלד תנועה או מפת קווים, כדי לחייב את הווידאו לזוז בדיוק לפיהם.

איך מריצים

המשקלים שוקלים מעל 75 גיגהבייט ודורשים 60 גיגהבייט פנויים רק בשביל הקבצים, מה שאומר שכרטיסים רגילים יקרסו מיד בלי התאמות. הקוד מספק שלושה מצבי חיסכון: העברת מודל לזיכרון המעבד (model_cpu_offload), קוונטיזציה של הטרנספורמר ל־float8 שמורידה קצת מהאיכות אבל חוסכת מקום, או פריקה שכבה אחר שכבה (sequential_cpu_offload) שזוחלת אבל מאפשרת להריץ על כרטיסים צנועים יותר.

אפשר להריץ אותו מקומית בסקריפט פייתון או דרך ComfyUI, והוא נבדק על כרטיסים החל מ־RTX 3060 עם 12GB ו־3090, ועד מאיצי שרתים כמו V100, A10 ו־A100. אם אין לכם לפחות כרטיס של 24GB או סבלנות לרינדורים איטיים מאוד במצב שכבות, עדיף בהרבה להשתמש במכונות ייעודיות בענן.

pip install -U huggingface_hub
hf download alibaba-pai/Wan2.2-VACE-Fun-A14B

הקבצים

14 קבצים במאגר, 75.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ ברישיון Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו במוצר שלכם, כל עוד שומרים על הודעות זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗