GPT
הוספת כלי
S

SeedVR2_comfyUI

קוד פתוח

numzapache-2.02025-06-20

  • diffusers
  • art
  • video-to-video

המודל משדרג רזולוציה של סרטונים ותמונות בצעד דיפוזיה יחיד ושומר על עקביות תנועה. הוא נבנה עבור מי שצריך שיפור איכות לווידאו, כולל ערוצי שקיפות, בתוך ComfyUI או מסקריפט עצמאי.

  • 56.0 GBמשקל הקבצים
  • 352,463הורדות בחודש
  • 317לייקים

מה זה

מדובר במימוש מותאם ל־ComfyUI של מודל SeedVR2 מבית ByteDance, המיועד למשימות וידאו לווידאו והגדלת תמונות. המערכת כוללת וריאציות של 3B ו־7B פרמטרים, כשהייחוד המרכזי מול כלי שדרוג אחרים הוא היכולת לרוץ בדיפוזיה של צעד אחד בלבד ולעבד גם ערוצי אלפא מלאים לקבצי RGBA. הארכיטקטורה מודולרית ומחלקת את העבודה לארבעה שלבים קבועים של קידוד, שדרוג, פענוח ועיבוד צבע.

בגרסה הזו נוספה תמיכה בשיטות תיקון צבע תפיסתיות במרחב LAB, שמונעות את הסטת הגוונים הנפוצה במודלים גנרטיביים. יש כאן גם תמיכה בחיבור תמונות באמצעות חלון האן לשמירה על רציפות זמנית בין אצוות של פריימים, ומעקף ייעודי לתקלת ניהול זיכרון ב־Conv3d שמוזיל פי שלושה את צריכת ה־VRAM מול ספריות סטנדרטיות.

מתאים ל

  • שדרוג וידאו עם שקיפות

    עיבוד קבצי RGBA שומר על חדות ערוץ האלפא, מה שמתאים לשילוב שכבות אנימציה ואפקטים בלי לפגוע בקצוות.

  • הגדלת תמונות מרוכזת

    הרצת סקריפט CLI על תיקיות שלמות לשיפור רזולוציה אצווה אחר אצווה בלי לפתוח ממשק גרפי.

  • הפקת וידאו ב־ComfyUI

    שילוב בתוך תהליכי עבודה קיימים שדורשים החלקת תנועה ושמירה על צבעי מקור ללא תלות בכלים חיצוניים.

איפה זה נופל

המודל כבד להחריד ונוטה לקרוס מחוסר זיכרון אם לא מכיילים בדיוק את מנגנוני ה־BlockSwap והאריחים. בכרטיסי 7B בפורמט FP8 מופיעים עיוותים וארטיפקטים בתמונה, מה שאילץ יצירת גרסאות מיוחדות עם בלוק אחרון ב־FP16. בנוסף, כל שינוי ברזולוציה דורש זהירות כדי לא לשבור את הידור הגרף, יש לחשב אצוות לפי נוסחה קשיחה של 4n פלוס 1, וברזולוציות גבוהות מורגשים תפרים ושינויי רעש שמחייבים משחק ידני עם מקדמי הטשטוש.

שאלות
נפוצות

האם אפשר להריץ את המודל על כרטיס מסך ביתי עם 8GB זיכרון?

כן, אבל רק עם פשרות. צריך להשתמש בגרסת GGUF בכימות Q4, להפעיל BlockSwap שמעביר שכבות לזיכרון המערכת, ולהדליק חלוקת אריחים למקודד. התהליך יעבוד, אבל זמן הרינדור יהיה ארוך משמעותית מריצה רגילה.

איזה הבדל יש בין מודל 3B למודל 7B בפועל?

מודל ה־3B דורש פחות זיכרון ורץ מהר יותר, ולכן הוא מתאים לבדיקות ולחומרה בינונית. מודל ה־7B מפיק חדות ופרטים גבוהים בהרבה, וכולל גם גרסאות חדות ייעודיות, אך דורש מעל 16GB זיכרון גרפי או שימוש בכימות FP8 כדי לא לקרוס.

מתי כדאי להפעיל את אופציית torch.compile?

הידור המודל משתלם רק כשמעבדים סרטונים ארוכים, קטעים מרובי אצוות או תמונות רבות ברצף. זמן ההידור בפעם הראשונה עלול לקחת כמה דקות טובות, כך שאם אתם עובדים על פריים בודד או מנסים פרמטרים שונים, זה רק יבזבז לכם זמן.

איך מריצים

הריצה מתבצעת כתוסף ייעודי בתוך ComfyUI או דרך שורת הפקודה עם תמיכה בריבוי כרטיסי מסך. בשביל להריץ את גרסת ה־FP16 המקורית ללא פשרות תצטרכו לפחות 24GB של זיכרון גרפי, למשל כרטיס כמו RTX 4090, שבו גם אז מומלץ לעבוד באצווה של פריים בודד. מחשבים עם 12 עד 16 גיגה יצטרכו לרדת לגרסאות FP8 או להפעיל חלוקת אריחים ל־VAE, וכרטיסים של 8GB ומטה מוגבלים לקבצי GGUF בכימות של 4 ביט יחד עם טכניקת BlockSwap.

קיימת אפשרות להאצה של 20 עד 40 אחוזים באמצעות torch.compile, אבל היא משתלמת רק לסרטונים ארוכים כי זמן ההידור הראשוני איטי מאוד. אם אין לכם חומרה מקומית חזקה וסבלנות להגדרת שכבות הזיכרון, פנייה ל־API חיצוני עדיפה בהרבה על ניסיון לחנוק כרטיס ביתי חלש.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("numz/SeedVR2_comfyUI")
img = pipe("a photo").images[0]

הקבצים

10 קבצים במאגר, 56.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון Apache 2.0 המלא. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו כחלק ממוצר שלכם, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של תנאי הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗