GPT
הוספת כלי
T

TTPLanet_SDXL_Controlnet_Tile_Realistic

קוד פתוח

TTPlanetopenrail2024-03-02

  • diffusers
  • Controlnet
  • Tile
  • stable diffustion
  • image-feature-extraction

מודל ControlNet Tile שנבנה במיוחד עבור SDXL ומיועד לשחזור פרטים והגדלת תמונות ריאליסטיות. הוא עוזר למנוע עיוותים כשמגדילים תמונה בחלקים ולא רוצים לאבד את המבנה המקורי.

  • 10.0 GBמשקל הקבצים
  • 5,253הורדות בחודש
  • 273לייקים

מה זה

מדובר במודל ControlNet מסוג Tile שמיועד לעבודה מעל תשתית SDXL. המטרה העיקרית שלו היא לא להגדיל רזולוציה בעצמו, אלא להוסיף פרטים ומרקמים לחלקים של תמונה בזמן תהליך הגדלה, כמו למשל עם Ultimate SD Upscale, בלי לשנות את הסגנון הכללי של מודל הבסיס.

גרסה זו, Tile V2, אומנה על דאטה-סט רחב יותר ומזהה עצמים בצורה אוטומטית יותר בלי צורך בפרומפטים מפורטים מדי. בנוסף, רמת השליטה שלו חזקה מספיק כדי להחליף שילובים כבדים של Canny ו־OpenPose במקרים מסוימים, בתנאי שעובדים על תמונות בסגנון ריאליסטי ולא על ציורים או אנימציה.

מתאים ל

  • הגדלת תמונות ריאליסטיות

    תוספת פרטים וטקסטורות עשירות בזמן עבודה עם סקריפטים של חלוקה לאריחים.

  • שינוי סגנון ותלבושות

    החלפת ביגוד או רקע בלי לשנות את התנוחה המקורית, כשהקדם-מעבד כבוי.

  • שחזור תמונות ישנות באיכות נמוכה

    העלאת חדות ופרטים מתמונות מקור קטנות בעזרת מעבר תמונה לתמונה.

איפה זה נופל

המודל מיועד באופן מובהק לתמונות ריאליסטיות. מי שמנסה להשתמש בו לקומיקס או איור יקבל תוצאות רעות. קיימת גם בעיה מוכרת של הילות חדות סביב קצוות של עצמים אם התמונה שעוברת ל־ControlNet חדה מדי, מה שמחייב הוספת טשטוש מכוון לפני העיבוד.

בנוסף, המפתח עצמו מציין שיש נטייה לסטיית צבעים במעבר מתמונה לתמונה או ביצירת תמונה מטקסט, מה שמצריך שימוש בצמתי תיקון צבע או פרומפט מוקפד. המפתח גם מודה שהוא בעצמו לא יודע למה סטיית הצבע מתרחשת ביצירה ישירה מטקסט.

שאלות
נפוצות

למה המודל לא מייצר תמונה גדולה כשאני מריץ אותו ישירות?

הוא לא מודל הגדלה עצמאי אלא מודל בקרה. התפקיד שלו הוא לשמור על המבנה ולהוסיף פרטים בזמן שרכיב הגדלה ייעודי מטפל ברזולוציה.

איך אפשר להיפטר מההילות הלבנות שמופיעות לפעמים מסביב לגבולות של דמויות?

ההילות האלה נוצרות כשהתמונה חדה מדי לפני שהיא נכנסת למודל. הפתרון שהיוצר ממליץ עליו הוא להפעיל מעט טשטוש על התמונה שמזינים לרשת הבקרה.

האם אפשר להשתמש בו לרינדור של דמויות מצוירות או אנימה?

לא מומלץ בכלל. אימנו אותו בלעדית על מאגרי תמונות מציאותיות, ולכן הוא לא יודע להתמודד עם סגנונות גרפיים שאינם ריאליסטיים.

איך מריצים

אתם מורידים את המשקלים של המודל, שתופסים 10.0 ג'יגה-בייט ומחולקים לשמונה קבצים, וטוענים אותם ישירות אל ComfyUI או דרך ההרחבה המתאימה ב־Automatic1111 WebUI. הרצה מקומית של SDXL יחד עם רשת בקרה בגודל כזה דורשת כרטיס מסך חזק עם נפח זיכרון מכובד, במיוחד אם אתם מחלקים תמונה גדולה לאריחים.

בעבודה שוטפת, מומלץ להגדיר עוצמת בקרה סביב 0.9 ורמת רעש שבין 0.3 ל־0.4 בתהליך ההגדלה. אם אין לכם חומרה ייעודית שיכולה לעמוד בעומס הזיכרון של SDXL, עדיף להריץ את התהליך דרך שרת מרוחק או ספק ענן שמוכר זמן מכונה לפי שעה.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("TTPlanet/TTPLanet_SDXL_Controlnet_Tile_Realistic")
img = pipe("a photo").images[0]

הקבצים

8 קבצים במאגר, 10.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל משוחרר ברישיון מסוג OpenRAIL. הרישיון מאפשר שימוש חופשי וכולל בדרך כלל אפשרות לשימוש מסחרי, אך כפוף להגבלות אתיות שמוגדרות בתנאי הרשיון המקוריים של משפחת מודלי Stable Diffusion. בנוסף, המפתח אוסר במפורש שימוש במודל ליצירת תוכן למבוגרים.

  • שימוש מסחרי
  • שינוי הקוד
  • מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗