SeedVR2-3B

מה זה

המודל מתמקד במשימת וידאו לווידאו, כלומר לוקח סרטון קיים ומשחזר אותו כדי להעלות את האיכות הכללית שלו. מודלים של דיפוזיה לווידאו בדרך כלל דורשים המון משאבים וזמן חישוב ארוך כי הם עוברים סדרה של עשרות צעדי ניקוי רעש. כאן החוקרים השתמשו באימון אדברסרי כדי לצמצם את כל התהליך לצעד אחד בלבד, מה שמקצר את זמני הריצה בצורה חדה לעומת מה שמקובל בתחום.

כדי להתמודד עם רזולוציות גבוהות בלי לאבד עקביות בין פריימים, המודל כולל מנגנון קשב עם חלונות אדפטיביים שמשנים את גודלם לפי רזולוציית הפלט. בנוסף שילבו באימון פונקציית הפסד להתאמת מאפיינים ששומרת על יציבות. לפי המפתחים, הגישה הזו מאפשרת להגיע לאיכות שמשתווה למודלים רב־שלביים קיימים, אבל בפעולה אחת מהירה בהרבה.

מתאים ל

• שחזור סרטונים ישנים

  ניקוי וחידוד של וידאו ביתי או תיעודי באיכות נמוכה, כל עוד התנועה בסצנה לא מהירה מדי.

• העלאת רזולוציה בריצה מהירה

  שדרוג חדות של קטעי וידאו קצרים בזמן קצר, בזכות הפעולה בצעד דיפוזיה בודד.

• פייפליין עיבוד מקומי

  הטמעה בתהליכי עריכה מקומיים ללא תלות בשירותי ענן חיצוניים, תחת רישיון מסחרי חופשי.

איפה זה נופל

המפתחים מגדירים את הדגם כפרוטוטייפ ומזהירים שהביצועים לא תמיד תואמים למה שהוצג במאמר. הוא מתקשה מול סרטונים עם פגיעה קשה באיכות או תנועות מצלמה ועצמים גדולות מאוד, ובמצבים כאלה הוא עלול לייצר עיוותים לא נעימים במקום לנקות את התמונה.

חיסרון הפוך ומעניין קורה בסרטונים שהאיכות המקורית שלהם כבר טובה, כמו וידאו שנוצר בבינה מלאכותית ב־720p. בגלל כושר יצירה אגרסיבי, הוא נוטה לדחוף פרטים עודפים שלא היו שם ולייצר תמונה עם חידוד יתר מוגזם.

אותה משפחה

SeedVR2 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו צריך את ספריית seedvr מהמאגר של הפרויקט. המשקלים שוקלים 13.6 גיגה־בייט ומחולקים לעשרה קבצים, מה שאומר שתצטרכו מאיץ גרפי חזק עם מספיק זיכרון VRAM כדי לטעון מודל של שלושה מיליארד פרמטרים ולעבד פריימים של וידאו במקביל.

המפתחים מעמידים ספייס פעיל בהאגינג פייס לנסיון מהיר. אם אתם רוצים רק לבדוק סרטון או שניים בלי להרים סביבת פיתוח שלמה עם כרטיסי מסך יקרים, עדיף להשתמש בדמו הקיים ברשת במקום להתקין הכל מקומית.

pip install -U huggingface_hub
hf download ByteDance-Seed/SeedVR2-3B

הקבצים

10 קבצים במאגר, 13.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• seedvr2_ema_3b.pth13.6 GB
• ema_vae.pth1.0 GB
• apex-0.1-cp310-cp310-linux_x86_64.whl4.9 MB
• apex-0.1-cp39-cp39-linux_x86_64.whl4.8 MB
• assets/teaser.png1.3 MB
• neg_emb.pt656.5 KB
• pos_emb.pt595.1 KB
• assets/seedvr_logo.png167.7 KB
• README.md5.3 KB
• .gitattributes1.7 KB

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י 2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והפצה מחדש, בלי דרישה לחלוק את השינויים שלכם. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בתוך המוצר.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗