GPT
הוספת כלי
C

controlnet-inpaint-dreamer-sdxl

קוד פתוח

destitechopenrail2023-09-24

  • diffusers
  • safetensors
  • art
  • controlnet
  • stable-diffusion

מתאם שליטה מסוג קונטרולנט שמיועד להשלמת תמונה והרחבת גבולות עבור מודלי בסיס של אס די איקס אל. הוא פועל בצינור טקסט לתמונה רגיל כשהאזור לעריכה צבוע בלבן מלא.

  • 1.3Bפרמטרים
  • 14.0 GBמשקל הקבצים
  • 1,255הורדות בחודש
  • 125לייקים

מה זה

מדובר במודל קונטרולנט שמתלבש מעל אס די איקס אל כדי לבצע משימות אינפיינטינג ואאוטפיינטינג. במקום להשתמש במודל ייעודי שעבר אימון מחדש על כל המשקלים של מחולל התמונות, אתם מפעילים אותו בצינור יצירה רגיל עם דהנויזינג מלא על 1.0, ומזינים לו את התמונה המקורית כקלט ישיר למתאם השליטה.

היוצר מגדיר את המשקלים כגרסת אלפא מוקדמת שנולדה מניסוי עצמאי להבנת התחום, כך שאין כאן בדיקות ביצועים מסודרות או הבטחות לאחידות. המודל שוקל כ־1.3 מיליארד פרמטרים ומתאים לכל מודל שמבוסס על הארכיטקטורה הזו, כולל שילוב ישיר בספריית דיפיוזרס או בממשק קומפי יו איי.

מתאים ל

  • הרחבת שוליים לתמונות

    מאפשר לצבוע שטחים בלבן מסביב לתמונה קיימת ולהשלים את הרקע בצורה שתואמת את ההנחיה הטקסטואלית.

  • עריכת אובייקטים פנימיים

    צובעים חלק פנימי בלבן אטום ומבקשים מהמודל להחליף אותו באלמנט אחר על בסיס מודלי אס די איקס אל.

  • ניסויי קומפי יו איי

    מתאים לבדיקות עצמאיות בתוך תהליכי עבודה מוכנים שמצורפים למאגר ללא צורך בכתיבת קוד מאפס.

איפה זה נופל

זהו פרויקט ניסיוני בגרסת אלפא, והמפתח מצהיר על כך במפורש. החיסרון המרכזי שמופיע בתיעוד הוא שהאזורים בתמונה שלא אמורים להשתנות עלולים לעבור שינוי קל או כבד בהתאם לפרומפט שתכתבו, כך שאין פה שמירה מוחלטת על הפיקסלים המקוריים. אל תבנו על זה למערכות ייצור שדורשות אמינות ללא בדיקה ידנית קפדנית.

שאלות
נפוצות

איך מסמנים למודל איזה חלק בתמונה צריך לשנות?

לא משתמשים במסיכה שחורה שקופה רגילה של אינפיינטינג. לפי הנחיות המפתח, החלק שרוצים לערוך או להרחיב חייב להיות צבוע בלבן אטום לחלוטין ישירות בתוך התמונה שנכנסת למודל.

האם המודל שומר על חלקי התמונה שלא רציתי לגעת בהם?

לא תמיד. המפתח מציין שבהתאם לטקסט שתכתבו, יתר חלקי התמונה עשויים להישמר כמו שהם או להשתנות במידה מסוימת, ולכן נדרש ניסוי וטעייה עם הניסוח וההגדרות.

איך מריצים

בשביל להריץ אותו מקומית עם אס די איקס אל תצטרכו כרטיס מסך כבד, רצוי עם 16 גיגהבייט זיכרון וידאו ומעלה, אחרת תקבלו שגיאות זיכרון מהר מאוד. המאגר מכיל 14 גיגהבייט של קבצים ב־37 חלקים, אבל אפשר לטעון רק את גרסת חצי הדיוק fp16 כדי לחסוך מקום ומשאבים.

אם אתם צריכים רק תיקון תמונה פה ושם, עדיף להשתמש בממשק מנוהל חיצוני. להקים שרת עצמאי בשביל אלפא כבדה כזו משתלם רק כשחייבים שליטה מלאה בנתונים ובזרימת העבודה.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("destitech/controlnet-inpaint-dreamer-sdxl")
img = pipe("a photo").images[0]

הקבצים

37 קבצים במאגר, 14.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא אופן רייל מסוג קריאייטיב אם אל, שמאפשר שימוש מסחרי והפצה חופשית כל עוד עומדים במגבלות השימוש האחראי. אתם יכולים לשלב אותו במוצר, אבל אסור להשתמש בו ליישומים מזיקים, בלתי חוקיים או פוגעניים לפי תנאי הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗