GPT
הוספת כלי
C

controlnet-scribble-sdxl-1.0

קוד פתוח

xinsirapache-2.02024-05-12

  • diffusers
  • safetensors
  • text-to-image

מתאם ControlNet שמייצר תמונות על בסיס שרבוטים וקווים חופשיים עבור SDXL. הוא מתאים למי שרוצה שליטה גמישה בקומפוזיציה בלי להינעל על קווי מתאר מדויקים של Canny.

  • 1.3Bפרמטרים
  • 2.3 GBמשקל הקבצים
  • 53,110הורדות בחודש
  • 268לייקים

מה זה

המודל הזה יושב מעל SDXL ונועד להפוך שרבוטים גסים לתמונות ברזולוציה גבוהה. הוא אומן על מעל עשרה מיליון תמונות שעברו סינון וכיתוב אוטומטי, יחד עם אוגמנטציות שונות כדי ללמוד מגוון רחב של סגנונות רישום. בניגוד למודלי שרבוט רגילים, הוא תוכנן לעבוד כמעט עם כל סוג קו, כולל שרבוט ידני, קווי Canny, HED, PIDI ואיורי Lineart, בכל עובי שתבחרו.

במבחני איכות מול תמונות Midjourney, המפתח מדווח על ציון אסתטי של 6.03 לפי מדד Laion Aesthetic, לצד ציון Perceptual Similarity של 0.5701 שבוחן נאמנות למקור. בפועל המספרים האלה אומרים שהמודל מתעדף מראה ויזואלי עשיר ומושך על חשבון הצמדות עיוורת לכל פיקסל בקו. קו עבה ייתן שליטה גסה וישאיר מקום לפרומפט, בעוד קו מדויק יותר ייקח את התוצאה לכיוון השרטוט.

מתאים ל

  • הפיכת סקיצות להדמיות

    הוא תומך בשרבוטים גסים מאוד, כך שמעצבים יכולים לזרוק קווים מהירים ולקבל תמונה שנראית גמורה.

  • עבודה עם מגוון גלאי קצוות

    היכולת לקבל HED, Lineart ו־Canny במודל יחיד חוסכת החלפה של מתאמים שונים בתוך ה־pipeline.

  • שליטה הדרגתית בקומפוזיציה

    אפשר לעבות או להדק את הקווים באזורים ספציפיים כדי לשלוט בדיוק ברמת החופש של המודל.

איפה זה נופל

המחיר של גמישות הקווים והאסתטיקה הגבוהה הוא ירידה מסוימת ברמת הדיוק. המפתח עצמו מציין שהשליטה פחות הדוקה בהשוואה למודל ה־Canny שלו, במיוחד כשעובדים עם קווים עבים. אם האפליקציה שלכם דורשת שימור מדויק של קווי מתאר במוצר או התאמה מוחלטת לשרטוט הנדסי, הוא עלול לקחת חופש יצירתי גדול מדי. בנוסף, המבחנים בוצעו על 1,200 תמונות בלבד שנבחרו מתוך דוגמאות של Midjourney, כך שהביצועים מול שרבוטים אנושיים אמיתיים ומבולגנים דורשים בדיקה זהירה לפני הטמעה.

שאלות
נפוצות

האם אפשר להריץ את המודל הזה לבד בלי SDXL?

לא. זהו מתאם ControlNet ולא מודל גנרטיבי עצמאי. הוא חייב לרוץ לצד מודל הבסיס SDXL 1.0 שמבצע את תהליך יצירת התמונה בפועל.

איזה סוג שרבוטים המודל מקבל כקלט?

הוא מתמודד עם שרבוט ידני פשוט, אבל מקבל גם קווי Canny, Lineart, HED ו־PIDI. עובי הקו משפיע ישירות על התוצאה: קו עבה משאיר חופש לפרומפט, וקו דק נצמד למבנה.

איך מריצים

כדי להריץ אותו צריך להשתמש בספריית diffusers של פייתון יחד עם מודל הבסיס SDXL 1.0. המשקל של המתאם עצמו הוא 2.3 גיגה בייט, אבל אסור לשכוח שהוא רץ תמיד בצמוד למודל SDXL מלא ששוקל בעצמו סביב שבעה גיגה בייט. בשביל להחזיק את שניהם בזיכרון ולייצר תמונות בקצב סביר, תצטרכו כרטיס מסך עם לפחות 12 עד 16 גיגה בייט של VRAM.

אם יש לכם כרטיס פשוט יותר או שאין לכם כוונה לתחזק שרת GPU ייעודי, עדיף לצרוך את המודל דרך נקודת קצה מנוהלת בענן שגובה לפי שניות ריצה.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("xinsir/controlnet-scribble-sdxl-1.0")
img = pipe("a photo").images[0]

הקבצים

22 קבצים במאגר, 2.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון Apache 2.0. זהו רישיון פתוח ומתירני שמאפשר שימוש מסחרי חופשי, שינוי של המשקולות ושילוב בתוך מוצרים סגורים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים וציון הרישיון המקורי, בלי חובה לפתוח את הקוד שלכם.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗