Kolors

מה זה

מדובר במודל דיפוזיה של 2.6 מיליארד פרמטרים מחברת Kuaishou, שאומן על מיליארדי זוגות של תמונה וטקסט. המאפיין הבולט שלו הוא היכולת לייצר אותיות ושלטים בתוך תמונות ברמת דיוק גבוהה, תחום שבו מודלים רבים עדיין מתקשים ומייצרים מריחות, לצד תמיכה מלאה בהנחיות באנגלית ובסינית.

בגודל כזה של קבצים, המודל משתלב בעבודה ישירות עם diffusers או דרך המאגר הרשמי. הוא נשען בין היתר על ChatGLM3 לעיבוד השפה, מה שנותן לו הבנה טובה יותר של הנחיות מורכבות ביחס למודלים ישנים שמסתמכים על מקודדי טקסט פשוטים.

מתאים ל

• רינדור שלטים ותוויות

  יצירת תמונות שכוללות כיתוב ברור ומדויק באנגלית או בסינית, ללא מריחות אופייניות למודלי דיפוזיה.

• תוכן ממוקד תרבות סינית

  הפקת דימויים שדורשים הבנה של הקשרים מקומיים בסין, בזכות שילוב מקודד השפה ChatGLM3 באימון.

• מחקר בתחום יצירת תמונה

  בדיקת ארכיטקטורות אימון חדשות על בסיס מודל פתוח למחקר בהיקף של 2.6 מיליארד פרמטרים.

איפה זה נופל

המודל פותח סביב אנגלית וסינית בלבד, כך שאין לו שום הבנה של עברית וניסיון להנחות אותו בעברית לא יעבוד. בנוסף, המפתחים מזהירים במפורש מחוסר יכולת להבטיח את הבטיחות והדיוק של התוכן עקב האופי ההסתברותי של המודל, ומציינים שהוא רגיש להטעיות בהנחיות, מה שמחייב שכבת סינון עצמאית לפני הצגה למשתמשי קצה.

איך מריצים

הורדת המשקלים דורשת 27 גיגה בייט של אחסון, כך שמבחינת חומרה מומלץ להצטייד במעבד גרפי עם לפחות 16 עד 24 גיגה זיכרון כדי לטעון אותו ולבצע היסק בלי נפילות זיכרון. ההתקנה נשענת על פייתון 3.8, PyTorch וסביבת CUDA 11.7 ומעלה.

אם אין לכם שרת ייעודי עם כרטיס חזק, הרצה מקומית על מחשב פיתוח רגיל תהיה איטית מאוד עד בלתי אפשרית. במקרה כזה, עדיף להקים שרת זמני בענן רק לזמני העבודה או להשתמש בפתרון שמנגיש אותו ישירות.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("Kwai-Kolors/Kolors")
img = pipe("a photo").images[0]

הקבצים

42 קבצים במאגר, 27.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.safetensors10.3 GB
• unet/diffusion_pytorch_model.fp16.safetensors5.2 GB
• text_encoder/pytorch_model-00005-of-00007.bin2.0 GB
• text_encoder/pytorch_model-00002-of-00007.bin2.0 GB
• text_encoder/pytorch_model-00003-of-00007.bin1.9 GB
• text_encoder/pytorch_model-00006-of-00007.bin1.9 GB
• text_encoder/pytorch_model-00001-of-00007.bin1.8 GB
• text_encoder/pytorch_model-00004-of-00007.bin1.8 GB
• text_encoder/pytorch_model-00007-of-00007.bin1.1 GB
• vae/diffusion_pytorch_model.bin334.7 MB
• vae/diffusion_pytorch_model.safetensors334.6 MB
• vae/diffusion_pytorch_model.fp16.bin167.4 MB
• vae/diffusion_pytorch_model.fp16.safetensors167.3 MB
• imgs/head_final3.png4.0 MB
• text_encoder/tokenizer.model1.0 MB
• text_encoder/vocab.txt1.0 MB
• tokenizer/tokenizer.model1.0 MB
• tokenizer/vocab.txt1.0 MB
• text_encoder/modeling_chatglm.py55.7 KB
• text_encoder/__pycache__/modeling_chatglm.cpython-38.pyc33.6 KB
• text_encoder/__pycache__/modeling_chatglm.cpython-39.pyc33.6 KB
• text_encoder/pytorch_model.bin.index.json20.4 KB
• MODEL_LICENSE14.9 KB
• text_encoder/quantization.py14.7 KB
• text_encoder/tokenization_chatglm.py12.2 KB
• tokenizer/tokenization_chatglm.py12.2 KB
• text_encoder/__pycache__/tokenization_chatglm.cpython-38.pyc11.6 KB
• text_encoder/__pycache__/tokenization_chatglm.cpython-39.pyc11.6 KB
• README.md4.8 KB
• text_encoder/__pycache__/configuration_chatglm.cpython-311.pyc2.4 KB
• text_encoder/configuration_chatglm.py2.3 KB
• unet/config.json1.8 KB
• .gitattributes1.7 KB
• text_encoder/__pycache__/configuration_chatglm.cpython-39.pyc1.7 KB
• text_encoder/__pycache__/configuration_chatglm.cpython-38.pyc1.7 KB
• text_encoder/__pycache__/configuration_chatglm.cpython-37.pyc1.7 KB
• text_encoder/config.json1.3 KB
• vae/config.json611 B
• scheduler/scheduler_config.json606 B
• model_index.json427 B

הרישיון

למרות שהמטאדאטה מציין אפאצ'י 2.0 לקוד, המפתחים קובעים בעמוד עצמו שהמודל פתוח לגמרי רק למחקר אקדמי. שימוש מסחרי מחייב מילוי שאלון ייעודי ושליחת בקשת רישום ואישור למייל של הצוות, ולכן אסור לשלב אותו במוצר מסחרי בלי אישור פרטני.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗