SeedVR2-7B

מה זה

הפיתוח הזה מיועד למשימות וידאו לווידאו, בעיקר שחזור ושיפור איכות של סרטונים פגומים או ברזולוציה נמוכה. מודלי דיפוזיה סטנדרטיים דורשים עשרות צעדים כדי לייצר פריים נקי, מה שהופך שחזור וידאו לתהליך איטי מאוד. כאן החוקרים השתמשו באימון אדברסרי כדי לדחוס את כל תהליך השחזור לצעד יחיד.

המבנה כולל מנגנון קשב בחלונות מותאמים, שמשנה את גודל החלון בהתאם לרזולוציית הפלט. זה פותר תופעות לוואי וחוסר עקביות שמופיעים בווידאו ברזולוציה גבוהה כשמשתמשים בגודל חלון קבוע מראש. לפי החוקרים, הביצועים בצעד הבודד מגיעים לרמה של שיטות שחזור קיימות ואף עוקפים אותן.

מתאים ל

• שחזור וידאו מהיר

  עיבוד של קטעי וידאו ישנים בצעד אחד, שמקצר משמעותית את זמן ההמתנה לפלט.

• העלאת רזולוציה דינמית

  התאמת חלונות קשב לפי הרזולוציה מונעת עיוותים של גודל קבוע בווידאו חד.

• ניקוי רעשים מקבצי וידאו

  הסרת דחיסה וטשטוש מסרטונים בינוניים בלי להריץ עשרות צעדי דיפוזיה יקרים.

איפה זה נופל

היוצרים מבהירים שמדובר בגרסאות אבטיפוס והביצועים לא בהכרח תואמים במדויק למאמר. המודל מתקשה להתמודד עם פגמים קשים במיוחד או עם תנועות מהירות וחריגות בפריים, ומדי פעם לא מצליח להסיר את הפגם או מייצר עיוותים ופרטים לא נעימים.

בנוסף, כשהקלט מכיל פגמים קלים בלבד, כמו סרטוני 720p שנוצרו במודלי בינה מלאכותית, המודל נוטה לייצר פרטים מיותרים וגורם לחידוד יתר. כדאי לבדוק אותו היטב על חומרי הגלם שלכם לפני שמחברים אותו לצינור עיבוד אמיתי.

אותה משפחה

SeedVR2 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־62.3 ג׳יגה בייט על פני שבעה קבצים, כך שצריך שטח אחסון מכובד וכרטיס מסך חזק מאוד עם זיכרון וידאו נרחב כדי לטעון ולהריץ אותו. המימוש מבוסס על קוד המקור בספריית seedvr שהחוקרים שחררו בגיטהאב, לצד מרחב התנסות ציבורי של גרסת 3B בהאגינג פייס.

אם אין לכם שרת ייעודי עם מאיצים מתאימים, אין טעם לנסות להריץ אותו על חומרה מקומית רגילה. במצב כזה עדיף לבדוק פתרונות ענן או להמתין לעטיפות שירות שיציעו גישה מרוחקת במקום לתחזק שרת כבד בעצמכם.

pip install -U huggingface_hub
hf download ByteDance-Seed/SeedVR2-7B

הקבצים

7 קבצים במאגר, 62.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• seedvr2_ema_7b.pth33.0 GB
• seedvr2_ema_7b_sharp.pth33.0 GB
• ema_vae.pth1.0 GB
• assets/teaser.png1.3 MB
• assets/seedvr_logo.png167.7 KB
• README.md5.2 KB
• .gitattributes1.6 KB

הרישיון

הרישיון הוא Apache 2.0, שמאפשר שימוש חופשי, שינוי הקוד והפצה, כולל שימוש מסחרי מלא במוצרים שלכם. התנאי העיקרי הוא שמירה על הודעות זכויות היוצרים והרישיון המקורי בקבצים שתפיצו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗