spider-verse-diffusion

מה זה

מדובר בכוונון עדין של סטייבל דיפיוז'ן שנבנה בעזרת דרימבות' על בסיס צילומי מסך מהסרט של סוני. היוצר אימן אותו במשך 3,000 צעדים עם שימור ידע קודם, כדי שהמודל לא ישכח מושגים כלליים בזמן שהוא לומד את השפה החזותית הספציפית.

כדי להפעיל את האפקט צריך להוסיף לפרומפט את צמד המילים spiderverse style. המודל מתרגם את הביטוי הזה לקווים מודגשים, טקסטורות הדפסה וצבעוניות זרחנית שמזכירה את עבודת האנימציה המקורית, בלי שתצטרכו להנדס פרומפטים מורכבים של עשרות מילים.

ההבדל העיקרי בינו לבין מודלים רגילים באותו סדר גודל הוא המיקוד המוחלט בסגנון בודד. הוא לא מנסה להיות מודל לכל מטרה, אלא פשוט מזריק את החותמת הוויזואלית הזו לכל דמות או סצנה שתבקשו ממנו לייצר.

מתאים ל

• איור דמויות לקומיקס

  יצירת פורטרטים עם מראה מאויר וקונטרסטי בעזרת מילת ההפעלה הייעודית.

• עיצוב קונספט ראשוני

  בדיקת כיוונים גרפיים לסצנות אנימציה בסגנון צבעוני ורווי בלי להתחיל מאפס.

• תמונות פרופיל מותאמות

  המרת תיאורי דמויות לסגנון גיבורי על מעוצב שמתאים לפלטפורמות חברתיות.

איפה זה נופל

המודל אומן על סט מצומצם של תמונות מסרט אחד, ולכן כל מה שחורג מהסגנון הזה פשוט לא ייראה טוב. אם לא תוסיפו את מילות ההפעלה המדויקות, התוצאה תחזור להיראות כמו סטייבל דיפיוז'ן גנרי לחלוטין. בנוסף, מדובר במודל שפורסם באוקטובר 2022, כך שכל הבעיות המוכרות של אותה תקופה, כמו עיוותים באצבעות, קושי בטקסט ופרצופים מרוחקים מטושטשים, קיימות כאן במלואן.

איך מריצים

טוענים את המשקלים דרך ספריית diffusers בפורמט float16 ישירות לכרטיס מסך של אנבידיה. כל כרטיס ביתי מודרני עם 6 או 8 גיגה זיכרון וידאו יספיק כדי להוציא תמונות בודדות בלי להיתקע.

יש אפשרות לייצא את הקבצים גם לפורמטים כמו ONNX או MPS למחשבי מק. אם אין לכם כרטיס מסך מקומי ייעודי, עדיף להריץ אותו דרך שרת ענן פשוט לפי שעה ולא להסתבך עם קריאות API חיצוניות יקרות.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("nitrosocke/spider-verse-diffusion")
img = pipe("a photo").images[0]

הקבצים

20 קבצים במאגר, 7.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.bin3.4 GB
• spiderverse-v1-pruned.ckpt2.1 GB
• safety_checker/pytorch_model.bin1.2 GB
• text_encoder/pytorch_model.bin492.3 MB
• vae/diffusion_pytorch_model.bin334.7 MB
• tokenizer/vocab.json1.1 MB
• spiderverse-portraits-small.jpg640.2 KB
• tokenizer/merges.txt524.6 KB
• spiderverse-training-small.jpg164.9 KB
• safety_checker/config.json4.8 KB
• README.md2.6 KB
• .gitattributes1.4 KB
• tokenizer/tokenizer_config.json806 B
• unet/config.json743 B
• text_encoder/config.json612 B
• vae/config.json576 B
• model_index.json541 B
• tokenizer/special_tokens_map.json472 B
• feature_extractor/preprocessor_config.json342 B
• scheduler/scheduler_config.json308 B

הרישיון

הרישיון הוא creativeml-openrail-m שמתיר שימוש מסחרי והפצה מחדש, כולל מכירת תמונות שנוצרו דרכו. החובה היא לצרף את תנאי הרישיון המקוריים ולא להשתמש בו לתוכן מזיק או לא חוקי. עם זאת, הזכויות על העיצובים עצמם מבוססות על קניין רוחני של סוני, מה שעלול לייצר סיכון משפטי במוצרים מסחריים גדולים.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗