Kolors-diffusers

מה זה

המודל אומן על מיליארדי זוגות של תמונה וטקסט ומבוסס על ארכיטקטורת latent diffusion. המטרה העיקרית שלו היא יצירת תמונות פוטו-ריאליסטיות, כשהיתרון הבולט הוא היכולת לדייק בפרטים סמנטיים מורכבים ולשלב אותיות ומילים מתוך הפרומפט ישירות בתוך הפלט הגרפי.

השילוב של מודל השפה ChatGLM3 כחלק מהמערכת מאפשר לו להבין לעומק הנחיות בשפות סינית ואנגלית. בניגוד לרוב מודלי הדיפוזיה שמתקשים בכתיבת טקסט ברור או נשענים כמעט לגמרי על תרבות מערבית, כאן יש הבנה מובנית של מושגים ספציפיים ושלטי טקסט בשתי השפות האלו.

הוא מגיע בהתאמה מלאה לספריית diffusers, כך שמי שכבר מריץ פייפליינים קיימים של תמונות יכול לשלב אותו בקוד בלי לשנות ארכיטקטורה, כולל תמיכה במעבר מתמונה לתמונה.

מתאים ל

• יצירת שלטים ופוסטרים

  המודל מרנדר אותיות באנגלית ובסינית בצורה מדויקת בתוך שלטים וכרזות.

• עיבוד והתמרת תמונות

  הפייפליין KolorsImg2Img מאפשר לקחת תמונה קיימת ולשנות אותה לפי פרומפט.

• שיווק המכוון לשוק הסיני

  אימון המודל כולל הבנה עמוקה של תוכן ותרבות מקומיים לצד השפה הסינית.

איפה זה נופל

למרות שהוא מצטיין בסינית ובאנגלית, אין בו שום תמיכה מובנית בעברית, כך שפרומפטים בעברית או ניסיון לכתוב אותיות עבריות בתמונה לא יעבדו. המפתחים מצהירים במפורש שהפלט סובל מאקראיות הסתברותית, והמודל רגיש להטעיות ולא מבטיח בטיחות או דיוק של המידע שנוצר בתמונה. מעבר לכך, מדובר במודל כבד שלא מתאים לשרתי קצה חלשים או להרצה בזמן אמת ללא האצה גרפית ייעודית.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־16.6 גיגה-בייט בגרסת fp16, מה שאומר שתצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה-בייט של זיכרון וידאו כדי לטעון אותו ולהריץ הסקה בצורה סבירה. ההרצה מתבצעת בעזרת הספרייה diffusers, כשמומלץ להשתמש בגרסה 0.30.0.dev0 ומעלה.

ברירת המחדל עובדת עם סקדיולר מסוג EulerDiscrete ודורשת 50 צעדים עם guidance scale של 5.0. אם אתם קצרים במשאבי חישוב או רוצים לקצר זמני תגובה, אפשר לעבור לסקדיולר EDMDPMSolverMultistep, שמאפשר לרדת ל־25 צעדים באותו ערך guidance בלי לאבד את כיוון הפרומפט.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("Kwai-Kolors/Kolors-diffusers")
img = pipe("a photo").images[0]

הקבצים

19 קבצים במאגר, 16.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.fp16.safetensors5.2 GB
• text_encoder/model.fp16-00001-of-00003.safetensors4.9 GB
• text_encoder/model.fp16-00002-of-00003.safetensors4.9 GB
• text_encoder/model.fp16-00003-of-00003.safetensors2.7 GB
• vae/diffusion_pytorch_model.fp16.safetensors167.3 MB
• imgs/head_final3.png4.0 MB
• imgs/t2i.png1.5 MB
• tokenizer/tokenizer.model1.0 MB
• tokenizer/vocab.txt1.0 MB
• text_encoder/model.safetensors.index.fp16.json19.0 KB
• MODEL_LICENSE14.9 KB
• README.md4.9 KB
• unet/config.json1.8 KB
• .gitattributes1.7 KB
• text_encoder/config.json1.4 KB
• vae/config.json611 B
• scheduler/scheduler_config.json606 B
• model_index.json416 B
• tokenizer/tokenizer_config.json249 B

הרישיון

הקוד עצמו פתוח תחת רישיון Apache 2.0, אבל משקלי המודל אינם חופשיים לגמרי. השימוש פתוח ללא עלות רק למחקר אקדמי. מי שרוצה להשתמש במודל למוצר מסחרי נדרש למלא טופס בקשה רשמי, לשלוח אותו למייל של הצוות ולהמתין לרישום ואישור מסחרי מצידם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗