qinglong_controlnet-lllite

מה זה

המאגר כולל עשרות קובצי בקרה המבוססים על ארכיטקטורת ControlNet-LLLite, שמקטינה את נפח המודל ביחס למודלי בקרה מלאים. הוא מכיל התאמות ייעודיות לסוגי קלט שונים, כולל חלוקת פנים באנימה, קווי מתאר, צבע, תאורה, עומק ומיפוי פוזות. חלק גדול מהמודלים אומן ספציפית על מודל הבסיס Kohaku-XL המיועד לאנימה, בעוד מודל הקווים הישרים MLSD אומן על ProtoVision XL, ומודל ה־Tile הריאליסטי נבנה סביב סדרת JuggernautXL.

בניגוד למודלי בקרה כלליים שמנסים לתפוס את כל הסגנונות במשקל יחיד, החלוקה כאן ממוקדת במשימות מוגדרות מאוד. למשל, מודל ה־Tile מגיע בשתי גרסאות נפרדות, גרסת אלפא ששומרת על קומפוזיציה ומאפשרת שינויים בעזרת פרומפטים ו־LoRA, וגרסת בטא שנועדה להגדלת רזולוציה תוך היצמדות מחמירה לפרטי המקור.

מתאים ל

• הגדלת תמונות עם שמירת פרטים

  גרסת בטא של מודל ה־Tile מתאימה לחידוד והוספת פרטים בעת הגדלה של איורי אנימה קיימים.

• שחזור צבע ותאורה

  המודלים הייעודיים לצבע ול־recolor luminance מחזירים גוונים לקווי מתאר ומאזנים אור.

• שמירה על פוזה וקומפוזיציה

  גרסת אלפא של מודל ה־Tile מאפשרת שינוי סגנון ופרטים בעזרת פרומפט בלי להרוס את התנוחה.

איפה זה נופל

מודל ה־Tile הרגיל אומן על דאטה-סט של אנימה, והיוצר מבהיר במפורש שהתוצאות שלו על צילומי מציאות גרועות ודורשות מעבר לגרסה הריאליסטית. נוסף על כך, מודלים מסוימים דורשים קדם-עיבוד מאוד ספציפי, כמו כלי Anime-Face-Segmentation במודל הפנים, וללא השלבים האלה התוצאה נפגעת.

איך מריצים

המודלים נתמכים בספריית diffusers וניתנים להרצה מקומית באמצעות ComfyUI עם תוסף ControlNet-LLLite ייעודי של kohya-ss, או דרך תוסף sd-webui-controlnet ב־Automatic1111. שימו לב שב־ComfyUI נדרשים צמתים ייעודיים ולא צמתי ה־ControlNet הרגילים.

המאגר כולו שוקל 4.1 גיגה בייט ומחולק ל־92 קבצים נפרדים, כך שאין צורך להוריד את כולם יחד אלא רק את המשקולות הרלוונטיות למשימה שלכם. מודלי הבסיס הם ממשפחת SDXL, ולכן תזדקקו לכרטיס מסך עם מספיק זיכרון להרצת הפיפיליין המלא של SDXL יחד עם הבקרה.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("bdsqlsz/qinglong_controlnet-lllite")
img = pipe("a photo").images[0]

הקבצים

92 קבצים במאגר, 4.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• bdsqlsz_controlllite_xl_tile_realistic.safetensors317.1 MB
• Annotators/dsine.pt291.3 MB
• bdsqlsz_controlllite_xl_segment_animeface.safetensors223.9 MB
• bdsqlsz_controlllite_xl_canny.safetensors223.9 MB
• bdsqlsz_controlllite_xl_depth.safetensors223.9 MB
• bdsqlsz_controlllite_xl_dw_openpose.safetensors223.9 MB
• bdsqlsz_controlllite_xl_lineart_anime_denoise.safetensors223.9 MB
• bdsqlsz_controlllite_xl_mlsd_V2.safetensors223.9 MB
• bdsqlsz_controlllite_xl_normal.safetensors223.9 MB
• bdsqlsz_controlllite_xl_recolor_luminance.safetensors223.9 MB
• bdsqlsz_controlllite_xl_segment_animeface_V2.safetensors223.9 MB
• bdsqlsz_controlllite_xl_sketch.safetensors223.9 MB
• bdsqlsz_controlllite_xl_softedge.safetensors223.9 MB
• bdsqlsz_controlllite_xl_t2i-adapter_color_shuffle.safetensors223.9 MB
• bdsqlsz_controlllite_xl_tile_anime_alpha.safetensors223.9 MB
• bdsqlsz_controlllite_xl_tile_anime_beta.safetensors223.9 MB
• bdsqlsz_controlllite_xl_depth_V2.safetensors223.9 MB
• bdsqlsz_controlllite_xl_normal_dsine.safetensors223.9 MB
• Annotators/rtmpose-m_simcc-ap10k_pt-aic-coco_210e-256x256-7a041aa1_20230206.onnx54.5 MB
• sample/xyz_grid-0001-3957894094.png12.8 MB
• sample/grid-0002-1006844163.png10.6 MB
• sample/grid-0018-3079334279.png10.4 MB
• sample/grid-0002-906633402.png7.8 MB
• sample/grid-0001-496872924.png7.6 MB
• sample/00011-2938929216.png7.4 MB
• sample/grid-0000-656896882.png7.4 MB
• sample/grid-0060-2359545755.png7.2 MB
• sample/grid-0008-3461355229.png6.9 MB
• sample/grid-0084-938772089.png6.8 MB
• sample/grid-0030-2839828192.png6.7 MB
• sample/grid-0015-4163265662.png6.7 MB
• sample/grid-0000-2857388239.png6.5 MB
• Annotators/UNet.pth6.4 MB
• sample/grid-0016-1162724588.png6.4 MB
• sample/grid-0028-1461058306.png6.2 MB
• sample/grid-0030-1612754720.png5.8 MB
• sample/00094-188618111.png5.6 MB
• sample/grid-0008-2191923130.png5.0 MB
• sample/grid-0007-2668683255.png4.9 MB
• sample/grid-0100-2599077425.png4.8 MB

הרישיון

הרישיון הוא cc-by-nc-sa-4.0. המשמעות היא שאין אישור לשימוש מסחרי, נדרש מתן קרדיט ליוצר, וכל שינוי או נגזרת שתפיצו חייבים להיות תחת אותם תנאי רישיון בדיוק.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗