kandinsky-3

מה זה

הארכיטקטורה של המודל נשענת על שלושה רכיבים עיקריים שמרחיבים מאוד את הגודל לעומת גרסאות קודמות בסדרה. הלב שלו הוא מקודד טקסט מסוג Flan-UL2 עם 8.6 מיליארד פרמטרים, מה שמעניק לו יכולת פענוח טקסט עמוקה מהרגיל. לצדו פועלים רכיב Latent Diffusion U-Net של 3 מיליארד פרמטרים ומפענח MoVQ של 267 מיליון פרמטרים.

המשמעות של השילוב הזה היא שיפור מורגש בדיוק של הפרטים הוויזואליים וביכולת לעקוב אחרי הנחיות ארוכות. מעבר ליצירה רגילה של תמונה מטקסט, המפתחים אימנו אותו על מאגרי מידע עשירים בתרבות ופולקלור רוסיים, תחום שבו רוב המודלים המערביים מציגים תוצאות שטחיות בלבד.

מתאים ל

• הפקת דימויים מהתרבות הרוסית

  הוא אומן על מידע ייעודי שמאפשר לו לייצר סגנונות אמנות, נופים ומוטיבים היסטוריים רוסיים בדיוק גבוה.

• הבנת הנחיות טקסט מסובכות

  מקודד הטקסט העצום של 8.6 מיליארד פרמטרים מתאים במיוחד לפרומפטים מפורטים ומרובי אלמנטים.

• שחזור ועריכת תמונות קיימות

  הקוד תומך בתהליכי Image-to-Image ומאפשר לשנות סגנון של תמונה קיימת בעזרת טקסט ורמת השפעה מוגדרת.

איפה זה נופל

המשקל הכולל של המודל הוא מכשול רציני. מקודד טקסט של 8.6 מיליארד פרמטרים דורש משאבי זיכרון חריגים בשביל מודל תמונה, מה שהופך את זמן התגובה לאיטי יחסית בהשוואה לאלטרנטיבות קלות יותר. בנוסף, למרות הדגש על הבנת הנחיות ותרבות רוסית, החומר לא מפרט כלום לגבי יכולות יצירת טקסט כתוב בתוך התמונה או דיוק באנטומיה מורכבת, כך שצריך לבדוק היטב את הפלטים לפני שמסתמכים עליו במוצר מסחרי.

איך מריצים

בשביל להריץ אותו דרך ספריית diffusers בפורמט חצי דיוק (fp16), חובה להשתמש בטכניקות חיסכון כמו cpu_offload כדי לא לחנוק את המאיץ הגרפי. מדובר בהורדה כבדה של מעל 26 גיגה בייט בקבצים, ולכן כרטיס ביתי פשוט עם מעט זיכרון וידאו יתקשה מאוד להחזיק אותו בזמן הסקת מסקנות.

אם יש לכם שרת ייעודי עם מעבד גרפי חזק, הרצה עצמאית נותנת שליטה מלאה על פרמטרים כמו מספר הצעדים ואיפוס הזרע. אם המטרה היא בדיקה ראשונית בלבד, יש למפתחים בוט טלגרם וממשק רשת זמין שחוסכים את ההורדה וההקמה המקומית.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("kandinsky-community/kandinsky-3")
img = pipe("a photo").images[0]

הקבצים

30 קבצים במאגר, 26.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.fp16.safetensors6.1 GB
• text_encoder/model.fp16-00004-of-00005.safetensors5.0 GB
• text_encoder/model.fp16-00001-of-00005.safetensors5.0 GB
• text_encoder/model.fp16-00002-of-00005.safetensors4.9 GB
• text_encoder/model.fp16-00003-of-00005.safetensors4.8 GB
• text_encoder/model.fp16-00005-of-00005.safetensors2.0 GB
• movq/diffusion_pytorch_model.fp16.safetensors541.4 MB
• tokenizer/spiece.model791.7 KB
• assets/photo_8.jpg319.0 KB
• assets/kandinsky.jpg238.8 KB
• assets/photo_13.jpg202.9 KB
• assets/photo_15.jpg201.6 KB
• assets/title.jpg121.2 KB
• assets/photo_17.jpg117.0 KB
• assets/photo_14.jpg107.2 KB
• assets/photo_2.jpg104.1 KB
• assets/photo_19.jpg103.5 KB
• assets/photo_16.jpg88.9 KB
• assets/photo_7.jpg85.5 KB
• text_encoder/model.safetensors.index.fp16.json27.9 KB
• tokenizer/tokenizer_config.json25.4 KB
• README.md5.6 KB
• tokenizer/added_tokens.json3.3 KB
• tokenizer/special_tokens_map.json2.5 KB
• .gitattributes1.5 KB
• text_encoder/config.json793 B
• movq/config.json714 B
• scheduler/scheduler_config.json509 B
• model_index.json417 B
• unet/config.json322 B

הרישיון

הפרויקט מופץ ברישיון Apache 2.0 שמאפשר שימוש חופשי, כולל שימוש מסחרי, שינוי של הקוד והפצה מחדש. מותר לשלב אותו במוצרים פנימיים או חיצוניים בלי לשלם תמלוגים, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗