GPT
הוספת כלי
C

control_v11p_sd15_lineart

קוד פתוח

lllyasvielopenrail2023-04-14

  • diffusers
  • safetensors
  • art
  • controlnet
  • stable-diffusion

המתאם הזה מוסיף שליטה ישירה מבוססת ציורי קו למודל היצירה. הוא מיועד למי שרוצה לצבוע או לעבד איורי קו קיימים בלי לאבד את המבנה המקורי.

  • 361Mפרמטרים
  • 4.0 GBמשקל הקבצים
  • 8,247הורדות בחודש
  • 80לייקים

מה זה

מדובר במודל בקרה מסדרת ControlNet v1.1, שמקבל כקלט איור קו שחור על גבי רקע לבן ומנחה את יצירת התמונה בהתאם לקווים האלה. הוא מחזיק 361 מיליון פרמטרים ומשמש שכבת הנחיה מעל מודל התשתית Stable Diffusion 1.5, כשהוא מוסיף תמיכה בתנאי קלט חיצוניים בלי לפגוע בידע המקורי של הרשת.

בשונה מחלופות כמו Canny שמתמקדות בזיהוי שפות מתמטי גס, או Scribble שנועד לשרבוטים חופשיים, הגרסה הזו אומנה ספציפית על ציורי קו נקיים. המבנה מאפשר שמירה מדויקת על קווי מתאר מורכבים ופרטים עדינים, כל עוד מזינים לו את סוג הקו הנכון.

מתאים ל

  • צביעת איורי קו

    צביעה אוטומטית של סקיצות ורישומים תוך שמירה מלאה על הקווים המקוריים.

  • המחשת מוצר מסקיצה

    הפיכת שרטוטי קו של מוצרים לתמונות פוטו-ריאליסטיות לפי הנחיית טקסט.

  • עיבוד מחדש של גרפיקה

    החלפת סגנונות וטקסטורות על גבי איור קיים בלי להזיז את המיקומים והגבולות.

איפה זה נופל

האימון שלו נשען ישירות על Stable Diffusion 1.5, ולכן איכות התוצאה וההבנה הסמנטית כבולות למגבלות של מודל הבסיס הוותיק הזה. הוא פחות מתאים לסגנון אנימה מובהק, שעבורו שוחרר צ'קפוינט ייעודי נפרד, ואם איור הקלט לא מבודד לקווים ברורים על רקע לבן התוצאה מתעוותת.

שאלות
נפוצות

האם המודל יכול לעבוד לבד בלי מודל תמונה נוסף?

לא, הוא אינו מייצר תמונות מאפס. הוא מתפקד כמתאם בקרה שחייב לרוץ בצמוד למודל תשתית, והוא אומן לעבוד עם Stable Diffusion 1.5 או גרסאות שעברו כוונון עדין על בסיסו.

מה ההבדל בינו לבין מודל Canny באותה סדרה?

מודל Canny מיועד למפות קצוות גיאומטריות שחולצו מתמונות קיימות באמצעות אלגוריתם מתמטי. המודל הזה אומן ישירות על ציורי קו וסקיצות אמנותיות, ומגיב טוב יותר לאיורים ידניים.

איך מריצים

טוענים את המשקלים דרך ספריית diffusers יחד עם Stable Diffusion 1.5 וחבילת העזר controlnet_aux לצורך עיבוד מקדים של הקווים. הקבצים שוקלים 4.0 גיגה בייט, כך שביחד עם מודל הבסיס תצטרכו כרטיס מסך עם זיכרון ייעודי כדי להריץ את הצינור הזה מקומית בלי נפילות.

אם אין לכם כרטיס תואם עם מספיק VRAM להחזקת שני המודלים במקביל, הפתרון היחיד הוא לפנות לספקי API חיצוניים שצורכים תשלום לפי קריאה במקום להחזיק שרת ייעודי.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("lllyasviel/control_v11p_sd15_lineart")
img = pipe("a photo").images[0]

הקבצים

11 קבצים במאגר, 4.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון CreativeML OpenRAIL M. הוא מתיר שימוש מסחרי, אבל כולל הגבלות מפורשות על תחומי שימוש מזיקים ומחייב אתכם להעביר את אותם תנאי רישיון הלאה אם אתם מפיצים את המשקלים או מוצר שמבוסס עליהם.

  • שימוש מסחרי
  • שינוי הקוד
  • מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗