JoyAI-Video-Edit

מה זה

מערך המודלים הזה נועד לעריכת וידאו מזרימה חיה או מקבצים קיימים, והוא מייצר שינויים בזמן אמת לפי הוראות טקסט חופשיות. המבנה מבוסס על מקודד תנאים רב מודלי, רכיב VAE סיבתי שאינו מביט לעתיד, ומודל דיפוזיה מסוג טרנספורמר בגודל 16 מיליארד פרמטרים שרץ בארכיטקטורה אוטורגרסיבית.

הייחוד כאן הוא יכולת עיבוד פריימים סיבתית שלא דורשת אורך וידאו מוגדר מראש או מבט על פריימים עתידיים. בסביבת פריסה מותאמת, הצוות הגיע לקצב של 30 פריימים בשנייה ברזולוציה של 720 על 1248, מה שמאפשר לעבד וידאו חי בלי תקיעות שמקובלות במודלי דיפוזיה כבדים.

מתאים ל

• עריכת שידורי וידאו חיים

  עיבוד זרם מצלמה בזמן אמת לפי הנחיות טקסט, הודות למנגנון סיבתי שלא דורש את כל הקובץ מראש.

• החלפת סגנון לפי רפרנס

  התאמת שוטים לפי תמונת מקור בעזרת המשקלים המעודכנים שמחזקים שמירה על זהות הדמות.

• שינוי רקע בזמן אמת

  החלפה של הרקע בפריים ללא עיבוד מקדים של כל הסרטון ובהשהיה נמוכה.

איפה זה נופל

הקצב המהיר מגיע עם פשרות. בכרטיס משתמש ביתי מתקדם הרזולוציה מוגבלת ל־840 על 480 בלבד, ורזולוציית 720p נתמכת בקצב נמוך יותר על חומרה מקצועית. שפות ההוראה המוגדרות הן אנגלית וסינית בלבד, כך שהבנת עברית אינה מובטחת. בנוסף, מודלים שמשלבים זיכרון מוגבל בריצה רציפה עלולים לפתח סטיות בעקביות התמונה לאורך זמן.

איך מריצים

כדי להריץ אותו מקומית צריך מפלצת חומרה. הפיתוח נבדק על כרטיס RTX 5090 עם 32GB זיכרון ומגיע שם ל־24 פריימים בשנייה ברזולוציה נמוכה יחסית של 840 על 480, או על כרטיס מקצועי RTX PRO 6000 שמוציא 16 פריימים ב־720p.

ההורדה כוללת 62 גיגה בייט של קבצים. יש שתי גרסאות משקלים של מודל הדיפוזיה, כאשר המפתחים מציינים במפורש להשתמש בקובץ המעודכן מה־14 באוגוסט שמשפר שמירה על זהות ועקביות בזמן, ולא בקובץ הראשוני. אם אין ברשותכם כרטיסי מסך מתקדמים עם נפח זיכרון עצום, פשוט לא תוכלו להריץ אותו בקצב סביר.

pip install -U huggingface_hub
hf download jdopensource/JoyAI-Video-Edit

הקבצים

8 קבצים במאגר, 62.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• dit/joyai_video_edit_dit_0804.pth32.5 GB
• dit/joyai_video_edit_dit_0811.pth32.5 GB
• vae/diffusion_pytorch_model.safetensors1.5 GB
• README.md5.8 KB
• vae/config.json1.8 KB
• .gitattributes1.5 KB
• config.json282 B
• meta.yaml226 B

הרישיון

הפרויקט משוחרר תחת רישיון אפאצ'י 2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והמשקלים, והפצה מחדש בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של תנאי הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗