zeroscope_v2_576w

מה זה

מדובר בהתאמה של משקלי המקור של ModelScope, שעברה אימון על כעשרת אלפים קטעים וכמעט שלושים אלף פריימים מתויגים. המטרה המרכזית שלו היא להפיק קטעים ברזולוציה בסיסית של 576 על 320 פיקסלים בפורמט רחב, בלי סימני המים המציקים שהיו במודל המקורי, ועם תנועה חלקה יחסית.

הוא לא נועד לתת את התוצר הסופי המלוטש, אלא לשמש תחנת ביניים. הרעיון הוא לבדוק פרומפטים במהירות, לייצר קומפוזיציה טובה ברזולוציה נמוכה, ואז להעביר את הסרטון למודל zeroscope_v2_XL כדי להגדיל אותו לאיכות גבוהה בלי לבזבז זמן וכוח חישוב יקר על ניסיונות עיוורים.

מתאים ל

• בדיקת פרומפטים מהירה

  מאפשר לבחון רעיונות ויזואליים בוידאו ברזולוציה נמוכה לפני השקעת משאבים בהגדלה.

• יצירת בסיס להגדלה

  מייצר קטעי 16:9 נקיים מסימני מים שמתאימים ישירות לשלב שדרוג האיכות בגרסת ה־XL.

• מחקר והתנסות מקומית

  רץ על כרטיסי מסך עם 8 גיגה זיכרון גרפי לצורכי לימוד ופיתוח לא מסחרי.

איפה זה נופל

הרזולוציה ההתחלתית נמוכה מאוד, רק 576 על 320. הכרטיס מזהיר במפורש שירידה לרזולוציות נמוכות יותר או ייצור של פחות פריימים יפגעו באיכות התוצר בצורה מורגשת, כך שאי אפשר לחתוך פינות כדי לחסוך זיכרון. בנוסף, הוא מוגבל למספר שניות בודדות ולא באמת עומד בפני עצמו בלי שלב הגדלה נוסף.

איך מריצים

כדי להריץ אותו צריך כרטיס מסך עם לפחות 7.9 גיגה־בייט זיכרון גרפי פנוי, שמספיקים ליצירת 30 פריימים ברזולוציית הבסיס. מריצים אותו ישירות בפייתון דרך ספריית diffusers עם פריקה לזיכרון המעבד, או בתוך הרחבת טקסט לוידאו של ממשק Automatic1111.

אם יש לכם כרטיס ביתי פשוט של 8 גיגה, הוא ירוץ, אבל הוא יהיה צפוף מאוד על הגבול העליון. למי שאין חומרה מתאימה, עדיף להריץ על מכונה שכורה בענן ולא להתעקש על מחשב מקומי שייחנק בכל רינדור.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("cerspense/zeroscope_v2_576w")
img = pipe("a photo").images[0]

הקבצים

16 קבצים במאגר, 7.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.bin2.8 GB
• zs2_576w/text2video_pytorch_model.pth2.8 GB
• zs2_576w/open_clip_pytorch_model.bin2.0 GB
• text_encoder/pytorch_model.bin680.9 MB
• vae/diffusion_pytorch_model.bin167.4 MB
• tokenizer/vocab.json1.1 MB
• tokenizer/merges.txt524.6 KB
• README.md3.2 KB
• .gitattributes1.5 KB
• tokenizer/tokenizer_config.json737 B
• unet/config.json727 B
• vae/config.json636 B
• text_encoder/config.json609 B
• scheduler/scheduler_config.json465 B
• tokenizer/special_tokens_map.json460 B
• model_index.json384 B

הרישיון

הרישיון הוא cc-by-nc-4.0, מה שאומר שאסור להשתמש במודל הזה לשום מטרה מסחרית. מותר לחקור, לשנות ולהריץ לצרכים אישיים, אבל אי אפשר לשלב אותו במוצר שמייצר הכנסה או בתשתית של שירות בתשלום.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗