Ruyi-Mini-7B

מה זה

מדובר במודל שמקבל תמונה ומייצר ממנה וידאו ברזולוציות שבין 360p ל־720p, ביחסי תצוגה שונים. הארכיטקטורה מבוססת על שינויים ב־EasyAnimate V4 עם טרנספורמר שנלקח מ־HunyuanDiT ומשלבת Casual VAE לדחיסה בזמן ובמרחב, יחד עם CLIP לחילוץ מאפיינים סמנטיים מהתמונה המוזנת. הוא כולל תמיכה מובנית בשליטה על כיווני מצלמה כמו הזזות לצדדים או למעלה ולמטה, לצד שליטה בעוצמת התנועה בסצינה.

האימון נעשה בארבעה שלבים, החל מאימון בסיסי על כ־200 מיליון קטעי וידאו ברזולוציה נמוכה ועד כוונון עדין על 10 מיליון סרטונים נבחרים. המטרה כאן היא לתת יכולת הפקה מקומית בלי תלות בשירותי ענן סגורים, אבל זה בא עם תג מחיר כבד בזמני חישוב.

מתאים ל

• הנפשת תמונות סטילס

  יצירת קטעי וידאו קצרים של עד חמש שניות מתמונות קיימות, כולל קביעת עוצמת התנועה הכללית בפריים.

• תנועות מצלמה מבוקרות

  הוספת אפקט של הזזת מצלמה למעלה, למטה או לצדדים ישירות מתוך תמונה סטטית.

• אוטומציה בתוך ComfyUI

  שילוב תהליכי יצירת וידאו מקומיים בתוך סביבות עבודה מבוססות ComfyUI עם תמיכה רשמית.

איפה זה נופל

הכרטיס מודה בפירוש בבעיות קלאסיות של התחום: טקסטים יוצאים מרוחים, ידיים מתעוותות ופנים של אנשים בתוך קהל מאבדות צורה. בנוסף, כשהמודל מתקשה לנחש את הפריימים הבאים, הווידאו פשוט קופץ בפתאומיות לסצינה אחרת לגמרי. הוא מוגבל לסרטונים של עד 5 שניות בלבד, ואי אפשר לבנות עליו לתוכן שמציג אנטומיה מדויקת או פרטים חדים.

איך מריצים

בשביל להריץ אותו עצמאית תצטרכו כרטיס גרפי רציני ביותר. לפי המפתחים, יצירת וידאו ברזולוציה בסיסית של 360x480 באורך 120 פריימים דורשת 21.5GB של VRAM ולוקחת מעל שלוש דקות על כרטיס A100 יחיד. אם תרצו להגיע ל־720p, צריכת הזיכרון מזנקת ל־54.8GB וזמן הריצה נמתח לכמעט 40 דקות לסרטון בודד.

אפשר להריץ אותו דרך סקריפט פייתון ישיר או באמצעות תוסף ComfyUI שמסופק במאגר. לכרטיסים של 24GB כמו RTX 4090 יש מצב זיכרון נמוך ייעודי, אבל קחו בחשבון שזמני הריצה יהיו ארוכים משמעותית. אלא אם אתם בודקים היתכנות מקומית, בעומסי עבודה אמיתיים תצטרכו לשכור מכונות ייעודיות בענן.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("IamCreateAI/Ruyi-Mini-7B")
img = pipe("a photo").images[0]

הקבצים

12 קבצים במאגר, 16.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• transformer/diffusion_pytorch_model.safetensors14.5 GB
• image_encoder/pytorch_model.bin1.7 GB
• vae/diffusion_pytorch_model.safetensors1.1 GB
• embeddings.safetensors75.0 MB
• README.md7.7 KB
• image_encoder/config.json4.8 KB
• .gitattributes1.5 KB
• vae/config.json804 B
• transformer/config.json795 B
• scheduler/scheduler_config.json571 B
• image_encoder/preprocessor_config.json316 B
• model_index.json213 B

הרישיון

המודל שוחרר תחת רישיון Apache 2.0. זהו רישיון מתירני שמאפשר שימוש מסחרי חופשי, שינוי של הקוד והמשקלים והפצה מחדש, בלי חובה לפתוח את הקוד של המוצר שלכם. התנאי העיקרי הוא שימור הקרדיט והודעת הרישיון המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗