GPT
הוספת כלי
C

controlnet-sd21

קוד פתוח

thibaudother2023-03-06

  • diffusers
  • art
  • stable diffusion
  • controlnet
  • en

התאמה של ControlNet לעבודה מעל Stable Diffusion 2.1 עם מגוון מאמנים לתנאי קלט. מתאים למי שרוצה לשלוט בקומפוזיציה עם בסיס 2.1 במקום גרסאות ישנות יותר.

  • 52.1 GBמשקל הקבצים
  • 8,455הורדות בחודש
  • 412לייקים

מה זה

מדובר בגרסה הראשונה של ControlNet שנבנתה ישירות עבור Stable Diffusion 2.1, ואומנה על תת קבוצה מתוך המאגר laion-art. המאגר מכיל אוסף רחב של מתאמים שמאפשרים להנחות את תהליך היצירה לפי תמונות ייחוס מסוגים שונים, כולל קצוות בשיטת Canny, מפות עומק רגילות ושל ZoeDepth, תנוחות גוף עם OpenPose, סקיצות, קווי מתאר בשיטת LineArt, צבע וסגמנטציה בפורמט ADE20K.

הייחוד כאן הוא החיבור לגרסה 2.1 של מודל הבסיס. בזמן שהקהילה התרכזה בגרסת 1.5, הפרויקט הזה מנגיש את כל ארגז הכלים של בקרת התמונה גם לדור הבא של אותה תקופה, תוך שימוש בסקריפטים של חיתוך ודיוק בחצי משקל כדי להקטין את הנפח השוטף.

מתאים ל

  • הנחיית תנוחות ב־SD 2.1

    שליטה ישירה במיקום הדמויות באמצעות OpenPose מעל בסיס 2.1 בלי לחזור לגרסאות 1.5 הישנות.

  • שמירה על גיאומטריה ועומק

    יצירת תמונות מבוססות ZoeDepth או מפות עומק רגילות לקבלת דיוק מרחבי תלת ממדי בסצנה.

  • הפקת תמונות מסקיצות ידניות

    שימוש במודול Scribble או LineArt כדי להפוך שרבוטים פשוטים ליצירות גמורות.

איפה זה נופל

ההתאמה של ZoeDepth דורשת התקנה של מזלג קוד נפרד מגיטהאב כי השינויים לא מוזגו רשמית לפרויקט המרכזי בזמן השחרור, מה שמסרבל פריסה אוטומטית. מעבר לכך, האימון התבצע על תת מאגר אומנותי בלבד, כך שהתנהגות המודל עלולה להיות מוטה לסגנונות ציור ופחות מדויקת ברינדור ריאליסטי מורכב ביחס למאגרים כלליים.

שאלות
נפוצות

חייבים להוריד את כל ה־52 ג'יגה כדי לעבוד עם המודל?

לא. המאגר כולל עשרות קבצים שמכסים הרבה מתאמים שונים. אפשר להוריד רק את קובץ ה־safetensors של המשימה שמעניינת אתכם, ששוקל סביב 700 מגה בייט, ולהריץ אותו ישירות.

אפשר להשתמש במודלים האלה במוצר מסחרי?

לא באופן אוטומטי. היוצר דורש אישור מראש ובכתב עבור הפצה או מכירה, ובנוסף צריך לבדוק את הרישיונות הנפרדים של רכיבי העיבוד המקדים לכל תכונה.

איך מריצים

אתם עובדים עם הספרייה diffusers או משלבים את הקבצים ישירות לתוך Automatic1111 באמצעות הרחבת ControlNet. בהגדרות התוכנה מחליפים את קובץ ההגדרה הישן של גרסה 1.5 בקובץ cldm_v21.yaml, ומעבירים את המשקלים לתיקיית המודלים של התוסף.

למרות שכלל הקבצים במאגר שוקלים 52.1 ג'יגה בייט בגלל עשרות הווריאנטים, יש שם גרסאות safetensors מכווצות ששוקלות כ־700 מגה בייט בלבד לכל סוג בקרה. אתם מורידים רק את המשקל הספציפי שדרוש למשימה, כמו עומק או פוזה, ומריצים אותו מקומית על כרטיס מסך ביתי בלי צורך להוריד את כל עשרות הג'יגות.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("thibaud/controlnet-sd21")
img = pipe("a photo").images[0]

הקבצים

40 קבצים במאגר, 52.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כאחר ומציב מגבלות קשיחות. חל איסור מפורש למכור, למזג או להפיץ מחדש את המודלים בלי אישור מראש ובכתב, כך שאי אפשר לשלב אותו במוצר מסחרי סגור ללא פנייה ליוצר. בנוסף, השימוש בכל מתאם כפוף לתנאי הרישיון המקוריים של כלי העיבוד המקדים שלו.

הרישיון המלא בעמוד המודל ↗