GPT
הוספת כלי
C

controlnet-depth-sdxl-1.0

קוד פתוח

diffusersopenrail++2023-08-12

  • diffusers
  • safetensors
  • stable-diffusion-xl
  • stable-diffusion-xl-diffusers
  • text-to-image

מתאם עומק ליוצרי תמונות שרוצים להכתיב ל־SDXL קומפוזיציה מדויקת בתלת־ממד. הוא שומר על מרחקים וזוויות בלי שתצטרכו להילחם בפרומפטים ארוכים.

  • 1.3Bפרמטרים
  • 14.0 GBמשקל הקבצים
  • 22,852הורדות בחודש
  • 208לייקים

מה זה

מדובר במשקולות ControlNet שנבנו ספציפית מעל מודל הבסיס SDXL 1.0, ומטרתן לתת לכם שליטה על יצירת התמונה בעזרת מפת עומק (depth map). במקום לקוות שהפרומפט ימקם אובייקטים במרחק הנכון או בזווית שרציתם, אתם מזינים מפת עומק והמודל מייצר את הסצנה כשהיא יושבת בדיוק על הגאומטריה הזו.

הוא אומן על מדגם של שלושה מיליון זוגות תמונה וטקסט מתוך LAION-Aesthetics V2, תוך שימוש ב־700 שעות GPU של כרטיסי A100 עם 80GB ודיוק fp16. בשונה מדורות קודמים של המודל שרצו על גרסאות ישנות, פה השליטה מתלבשת ישירות על הרזולוציה והאיכות הגבוהות שמגיעות כברירת מחדל ב־SDXL.

מתאים ל

  • שמירה על קומפוזיציה בתלת-ממד

    מאפשר לייצר סצנה חדשה לגמרי בלי לשבור את המרחקים והעומק של תמונת המקור.

  • עבודה מקבילה על סצנות מורכבות

    מייצר תמונות באיכות SDXL שיושבות בול על מודלים גאומטריים שהכנתם מראש.

  • שילוב דמויות בחללים מוגדרים

    מקבע את העומק של הסביבה כדי שהדמות שתיווצר לא תיראה מודבקת או שטוחה.

איפה זה נופל

המודל אומן על מאגר LAION-Aesthetics V2, מה שאומר שהוא סוחב איתו את כל הבעיות וההטיות של הדאטה הזה. בנוסף, בכרטיס המודל אין שום מדדי הערכה כמותיים או ציונים רשמיים, כך שקשה לדעת מראש עד כמה הוא עקבי בפרטים מורכבים. הוא תלוי לחלוטין באיכות מפת העומק שתספקו לו, ואם המפה פגומה, התוצאה תיראה בהתאם.

שאלות
נפוצות

האם המודל יכול לעבוד לבד בלי SDXL?

לא. מדובר במשקולות בקרה שמתלבשות על מודל הבסיס stabilityai/stable-diffusion-xl-base-1.0. חייבים לטעון את שניהם יחד בצינור של diffusers כדי לקבל תמונה.

כמה זיכרון GPU באמת צריך כדי להשתמש בו?

הקבצים של המודל לבדו שוקלים 14 ג'יגה־בייט, ויחד עם SDXL הבסיסי דרוש כרטיס עם זיכרון וידאו גבוה מאוד. אם אתם עובדים על מחשב פיתוח ממוצע בלי כרטיס מקצועי, יהיה קשה להחזיק את שניהם בזיכרון.

איך מריצים

כדי להריץ אותו תצטרכו להתקין את ספריות diffusers, transformers, accelerate ו־safetensors, ולהשתמש בצינור StableDiffusionXLControlNetPipeline. המשקל של הקבצים מגיע ל־14 ג'יגה־בייט, ויחד עם מודל הבסיס של SDXL עצמו, מדובר במפלצת זיכרון שלא תרוץ על כרטיס ביתי פשוט בלי חניקה.

אם אין לכם כרטיס מסך חזק עם מספיק VRAM להחזיק גם את הבסיס וגם את שכבת הבקרה, שווה לשקול הרצה בשרת ענן ייעודי או לפנות ל־API חיצוני שמחזיק את המודל מוכן בזיכרון, במקום להיאבק בזמני טעינה מקומיים.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("diffusers/controlnet-depth-sdxl-1.0")
img = pipe("a photo").images[0]

הקבצים

8 קבצים במאגר, 14.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון openrail++, שמתיר שימוש ומאפשר שילוב במוצרים, אך כולל מגבלות שימוש ספציפיות שאוסרות על יישומים מזיקים או פוגעניים. תצטרכו לוודא שהתרחיש שלכם תואם את תנאי הרישיון לפני שאתם משלבים אותו בפרודקשן.

  • שימוש מסחרי
  • שינוי הקוד
  • מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗