Kolors-Inpainting — הדגמה

מה זה

הממשק מבוסס על עורך תמונות שבו מעלים קובץ או מצלמים בוובקאם, ומסמנים עם מברשת את המקום שרוצים להחליף. לצד התמונה מזינים הנחיה כתובה, ואפשר לפתוח הגדרות מתקדמות כדי לקבוע הנחיה שלילית, סיד, מספר צעדים ורמת הצמדות לטקסט.

מאחורי הקלעים רץ שילוב של מודל Kolors עם ארכיטקטורת SDXL ומודל שפה ChatGLM3 לעיבוד הטקסט, לצד רכיבי CLIP ו־VAE שמטפלים בתמונה. יש בממשק גם אזור דוגמאות מובנה, אם כי הפרטים המדויקים של קובצי ההדגמה לא צוינו בקוד שנחשף.

מתאים ל

• עריכת פרטים בתמונה

  צביעת פריט בתוך תמונה והחלפתו בעצם אחר לפי טקסט, ישירות מהמחשב או המצלמה.

• הסרת עצמים מפריעים

  סימון אובייקט לא רצוי והרצת שחזור כדי למלא את הרקע בצורה חלקה.

• בדיקת התנהגות המודל

  בחינת השילוב בין מפענח השפה ChatGLM לבין מודל התמונה באמצעות שינוי מדדי ההרצה והסיד.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט לא עובדת ברגע זה ומציגה שגיאת מערכת. מעבר לזה, המברשת מוגבלת לצבע אפור אחיד בלי שכבות עבודה מתקדמות, כך שאין שליטה מדויקת מדי על המסכה. לא כדאי לבנות על הממשק הזה כרגע לשום עבודה אמיתית.

איך מריצים

טוענים תמונה, מציירים מסכה, מקלידים הנחיה ולוחצים על כפתור ההרצה. נכון לעכשיו העמוד מסומן במצב של שגיאת ריצה, וסביבת החומרה הרשומה היא מעבד בסיסי בלבד. זה אומר שגם כשהקוד תקין, ריצה כבדה כזו ללא מאיץ גרפי ייעודי תהיה איטית במיוחד, אלא אם מוקצה לה משאב זמני דרך תשתית המערכת.

pip install -U huggingface_hub
hf download Kwai-Kolors/Kolors-Inpainting

הקבצים

42 קבצים במאגר, 17.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.safetensors5.2 GB
• text_encoder/pytorch_model-00005-of-00007.bin2.0 GB
• text_encoder/pytorch_model-00002-of-00007.bin2.0 GB
• text_encoder/pytorch_model-00003-of-00007.bin1.9 GB
• text_encoder/pytorch_model-00006-of-00007.bin1.9 GB
• text_encoder/pytorch_model-00001-of-00007.bin1.8 GB
• text_encoder/pytorch_model-00004-of-00007.bin1.8 GB
• text_encoder/pytorch_model-00007-of-00007.bin1.1 GB
• vae/diffusion_pytorch_model.bin334.7 MB
• vae/diffusion_pytorch_model.safetensors334.6 MB
• vae/diffusion_pytorch_model.fp16.bin167.4 MB
• vae/diffusion_pytorch_model.fp16.safetensors167.3 MB
• imgs/Comparison_Results.png2.0 MB
• imgs/Inpainting_Results.png1.1 MB
• text_encoder/tokenizer.model1.0 MB
• text_encoder/vocab.txt1.0 MB
• tokenizer/tokenizer.model1.0 MB
• tokenizer/vocab.txt1.0 MB
• text_encoder/modeling_chatglm.py55.7 KB
• text_encoder/__pycache__/modeling_chatglm.cpython-38.pyc33.6 KB
• text_encoder/__pycache__/modeling_chatglm.cpython-39.pyc33.6 KB
• text_encoder/pytorch_model.bin.index.json20.4 KB
• MODEL_LICENSE14.9 KB
• text_encoder/quantization.py14.7 KB
• text_encoder/tokenization_chatglm.py12.2 KB
• tokenizer/tokenization_chatglm.py12.2 KB
• text_encoder/__pycache__/tokenization_chatglm.cpython-38.pyc11.6 KB
• text_encoder/__pycache__/tokenization_chatglm.cpython-39.pyc11.6 KB
• README.md4.1 KB
• text_encoder/__pycache__/configuration_chatglm.cpython-311.pyc2.4 KB
• text_encoder/configuration_chatglm.py2.3 KB
• .gitattributes1.9 KB
• unet/config.json1.9 KB
• text_encoder/__pycache__/configuration_chatglm.cpython-39.pyc1.7 KB
• text_encoder/__pycache__/configuration_chatglm.cpython-38.pyc1.7 KB
• text_encoder/__pycache__/configuration_chatglm.cpython-37.pyc1.7 KB
• text_encoder/config.json1.3 KB
• vae/config.json611 B
• scheduler/scheduler_config.json606 B
• model_index.json427 B

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינוי של הקוד, כולל לצרכים מסחריים בכפוף לתנאי הרישיון. הקבצים שאתם מעלים עוברים דרך השרת שמארח את ההדגמה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗