kandinsky-2-2-decoder

מה זה

מדובר בחלק המפענח של קנדינסקי 2.2, שמחזיק כ־1.25 מיליארד פרמטרים ומשלב רעיונות מ־DALL-E 2 עם דיפוזיה לטנטית. המבנה שלו נשען על מודל CLIP-ViT-G לקידוד טקסט ותמונה, יחד עם רכיב prior שממיר ביניהם לפני שה־U-Net וה־MoVQGAN הופכים את המידע לתמונה הסופית ברזולוציות של עד 1024 על 1024 ביחסי צד שונים.

היתרון המרכזי בגישה הזו הוא היכולת לבצע מניפולציות מונחות טקסט ומיזוג בין תמונות בצורה חלקה יחסית. מבחינת ציונים, הכרטיס מציג רק נתוני FID של גרסה 2.1 הישנה יותר על מאגר COCO, שם הוא קיבל 8.21, תוצאה טובה יותר מ־Stable Diffusion 2.1 באותה בדיקה, אך אין מדידה רשמית כזו עבור גרסה 2.2 עצמה מעבר להחלפת מודל ה־CLIP ואימון נוסף על תמונות אסתטיות.

מתאים ל

• יצירת תמונות מטקסט

  יצירת תמונות ברזולוציה של עד 1024 על 1024 ביחסי צד מגוונים מתוך פרומפטים מורכבים.

• עריכת תמונה עם טקסט

  שינוי תוכן של תמונה קיימת באמצעות הנחיות טקסטואליות ושמירה על המבנה הכללי.

• מיזוג בין תמונות

  אינטרפולציה ויזואלית שמשלבת מאפיינים משתי תמונות שונות ליצירת תוצאה חדשה.

איפה זה נופל

הכרטיס מציג שיפורים באסתטיקה אבל מודה שהמודל אומן רק 2,000 צעדים נוספים לאחר החלפת ה־CLIP, שזה מעט מאוד. בנוסף, חסרות בו בדיקות כמותיות עדכניות לגרסה הזו מול מודלים מודרניים. המודל עלול להציג קשיים בפרטים מורכבים וברינדור אותיות, ויש לבדוק ידנית את איכות הפלט לפני שמשלבים אותו בזרימת עבודה אמיתית.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־9.8 גיגה בייט, כך שצריך כרטיס מסך עם לפחות 12 עד 16 גיגה בייט של זיכרון כדי להריץ אותו בנוחות ב־float16. הקוד נתמך ישירות בספריית diffusers של פייתון, וכולל אפשרות להורדת עומס למעבד במידת הצורך.

אם אתם צריכים רק תמונות בודדות ולא בונים תשתית עצמאית, עדיף להשתמש בשירות מנוהל או API חיצוני, כי תחזוקה של מאיץ גרפי ייעודי בשביל מודל כזה תעלה לא מעט כסף.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("kandinsky-community/kandinsky-2-2-decoder")
img = pipe("a photo").images[0]

הקבצים

10 קבצים במאגר, 9.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.bin5.0 GB
• unet/diffusion_pytorch_model.safetensors5.0 GB
• movq/diffusion_pytorch_model.bin271.5 MB
• movq/diffusion_pytorch_model.safetensors271.4 MB
• README.md7.3 KB
• unet/config.json1.7 KB
• .gitattributes1.5 KB
• movq/config.json660 B
• scheduler/scheduler_config.json317 B
• model_index.json250 B

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו בחופשיות. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗