Wan2.1-Fun-1.3B-InP — הדגמה

מה זה

אתם מעלים קלט לממשק מבוסס Gradio ומקבלים פלט וידאו. מאחורי הקלעים הקוד משלב מודלים שונים מעולמות הוידאו והתמונה, כולל שימוש במודלים ממשפחת CogVideo, AnimateDiff, PixArt ורכיבי VAE של SDXL, יחד עם ממשק של עליבאבא שמתחבר גם לשירותים כמו ModelScope.

הקוד עצמו טוען בקרים לניהול התהליך דרך ספריות ייעודיות לוידאו. לא מדובר רק במודל הבסיס של עליבאבא, אלא בשרשור של מספר מודלים וטכניקות שרצים יחד כדי לבצע את פעולות ההסקה והעיבוד.

מתאים ל

• בדיקת ממשק הוידאו

  התנסות ראשונית בממשק של עליבאבא ובפרמטרים שהוא מציע ליצירת וידאו.

• השוואת מודלים בקוד פתוח

  בחינה של שילוב מודלים מובילים כמו אנימייטדיף וקוגוידאו תחת ממשק אחיד.

• הבנת ארכיטקטורת החיבור

  למידה מתוך קוד המקור על אופן החיבור בין מודלים שונים וניהול התהליך.

איפה זה נופל

חומרת המעבד הבסיסית הופכת ריצות כבדות לכמעט בלתי מעשיות מבחינת זמן תגובה, וזה החיסרון הבולט ביותר. בנוסף, השילוב בין מודלים שונים כמו קוגוידאו ופיקסארט אומר שלא בודקים כאן מודל בודד ונקי, כך שקשה להסיק מהתוצאה איך המודל של עליבאבא מתנהג לבדו.

איך מריצים

נכנסים לממשק ולוחצים על כפתורי ההרצה לפי הפרמטרים שמופיעים במסך. ההדגמה הזאת מוגדרת על מעבד בסיסי, מה שאומר שזמן הריצה של יצירת וידאו מורכבת יהיה איטי מאוד בהשוואה לעבודה על מעבדים גרפיים חזקים. אין כאן דרישת תשלום מראש, אבל החומרה החלשה יוצרת צוואר בקבוק משמעותי.

pip install -U huggingface_hub
hf download alibaba-pai/Wan2.1-Fun-1.3B-InP

הקבצים

18 קבצים במאגר, 18.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• models_t5_umt5-xxl-enc-bf16.pth11.4 GB
• models_clip_open-clip-xlm-roberta-large-vit-huge-14.pth4.8 GB
• diffusion_pytorch_model.safetensors3.1 GB
• Wan2.1_VAE.pth507.6 MB
• xlm-roberta-large/tokenizer.json17.1 MB
• google/umt5-xxl/tokenizer.json16.8 MB
• xlm-roberta-large/sentencepiece.bpe.model5.1 MB
• google/umt5-xxl/spiece.model4.5 MB
• google/umt5-xxl/tokenizer_config.json61.7 KB
• README_en.md13.7 KB
• README.md13.0 KB
• LICENSE.txt11.4 KB
• google/umt5-xxl/special_tokens_map.json6.6 KB
• .gitattributes2.3 KB
• xlm-roberta-large/tokenizer_config.json418 B
• xlm-roberta-large/special_tokens_map.json280 B
• config.json249 B
• configuration.json81 B

הרישיון

הקוד וההדגמה מפורסמים תחת רישיון apache-2.0. הרישיון מאפשר שימוש חופשי, שינוי והפצה, כולל שימוש מסחרי, בכפוף לתנאי הרישיון המקוריים ולשמירת הקרדיט. התוכן שאתם מעלים ויוצרים כפוף למדיניות של האתר שבו הממשק מאוחסן.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗