GPT
הוספת כלי
K

krea-realtime-video

קוד פתוח

kreaapache-2.02025-10-08

  • diffusers
  • safetensors
  • diffusion-single-file
  • text-to-video
  • video-to-video

יש כאן גם סקירה על KREA עצמו.

מודל שמייצר וידאו בזמן אמת עם תגובה של כשנייה לפריים הראשון, ומאפשר שינוי הנחיות תוך כדי תנועה. הוא מיועד למי שצריך תגובתיות מיידית ולא יכול לחכות דקות לעיבוד.

  • 14Bפרמטרים
  • 107 GBמשקל הקבצים
  • 1,474הורדות בחודש
  • 297לייקים

מה זה

המודל מבוסס על Wan 2.1 של 14 מיליארד פרמטרים, שעבר זיקוק באמצעות שיטה בשם Self-Forcing. השיטה הזו הופכת את מודל הדיפיוז'ן הרגיל למודל אוטורגרסיבי, וכך אפשר לייצר וידאו בסטרימינג ישיר במקום לחכות לעיבוד של כל הקליפ מראש. הוא תומך גם ביצירת וידאו מטקסט וגם בעיבוד וידאו לווידאו ממצלמת רשת או קנבס.

מבחינת ביצועים, הוא מגיע לקצב של 11 פריימים לשנייה בתוך 4 צעדי הסקה, אבל הנתון הזה נמדד על כרטיס בודד מסוג NVIDIA B200. כדי להתמודד עם הצטברות שגיאות שמגיעה עם גישה אוטורגרסיבית, המפתחים הוסיפו מנגנוני חישוב מחדש של זיכרון ה־KV והטיות קשב ייעודיות.

מתאים ל

  • עיבוד וידאו ממצלמה חיה

    מאפשר להזרים פיד של מצלמת רשת ולשנות לו סגנון ויזואלי בזמן אמת.

  • יצירת וידאו אינטראקטיבית

    מתאים לממשקים שבהם המשתמש משנה את הפרומפט תוך כדי תנועה ורואה שינוי מיידי.

  • ציור לקנבס שמתעורר לחיים

    מקבל הזנה רציפה ממשטח ציור דיגיטלי ומייצר ממנה פריימים נעים ללא השהיה.

איפה זה נופל

המודל פגיע מאוד להצטברות שגיאות לאורך זמן בגלל האופי האוטורגרסיבי שלו, מה שעלול להוביל לעיוותים בפריימים מאוחרים יותר אם המנגנונים המפצים לא מספיקים. מעבר לזה, קצב של 11 פריימים לשנייה דורש כרטיס B200 חזק ויקר, כך שעל כרטיסים נגישים יותר זמן התגובה ייפגע משמעותית. שינויי סגנון והחלפת הנחיות באמצע הריצה עשויים לחשוף בעיות עקביות בין הסצנות.

שאלות
נפוצות

האם המודל יכול לרוץ על כרטיס מסך ביתי?

לא. המשקלים דורשים יותר ממאה גיגה בייט של שטח אחסון וזיכרון וידאו עצום שקיים רק בחומרת שרתים. אפילו עם קוונטיזציה של שמונה ביט תצטרכו חומרה מקצועית כמו H100 או B200.

מה היתרון של שיטת הזיקוק לעומת מודל רגיל?

היא מקצרת את תהליך ההסקה לארבעה צעדים בלבד ומאפשרת פליטה של פריימים בסטרימינג. הפריים הראשון מתקבל תוך כשנייה אחת, במקום להמתין לעיבוד מלא של כל הסרטון.

איך מריצים

כדי להריץ אותו צריך חומרה קיצונית. המשקלים תופסים 107 גיגה בייט, ומדידות המהירות מבוססות על שבב B200. אפשר להריץ אותו דרך ספריית diffusers או דרך שרת ייעודי מבוסס uvicorn שהמפתחים שחררו, כשעבור כרטיסי H100 הם ממליצים על אופטימיזציות כמו קוונטיזציה ל־FP8, שימוש ב־Sageattention והידור עם torch.compile.

אם אין לכם גישה למעבדים גרפיים מהדרג הגבוה ביותר בענן, חבל על המאמץ הטכני. במקרה כזה עדיף לצרוך מודלים כאלה דרך שירות ענן מנוהל מאשר לנסות להחזיק תשתית כבדה כל כך בעצמכם.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("krea/krea-realtime-video")
img = pipe("a photo").images[0]

הקבצים

27 קבצים במאגר, 107 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקלים שוחררו תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והפצה פנימית או מסחרית של המערכת, כל עוד שומרים על הודעות זכויות היוצרים ומצרפים את נוסח הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗