GPT
הוספת כלי
C

control_v11f1p_sd15_depth

קוד פתוח

lllyasvielopenrail2023-04-16

  • diffusers
  • safetensors
  • art
  • controlnet
  • stable-diffusion

המתאם הזה מוסיף מפת עומק כקלט ישיר ליצירת תמונות, כדי לשמר קומפוזיציה ומרחב תלת ממדי. אם אתם עובדים עם Stable Diffusion 1.5, זו הדרך לייצר סצנה בלי שהאלמנטים יזוזו.

  • 361Mפרמטרים
  • 4.0 GBמשקל הקבצים
  • 15,535הורדות בחודש
  • 65לייקים

מה זה

מדובר במודל בקרה של 361 מיליון פרמטרים שמיועד לפעול לצד מודל הבסיס Stable Diffusion 1.5. במקום להסתמך רק על טקסט, אתם מזינים לו תמונת עומק בגווני אפור, והוא מייצר תמונה חדשה ששומרת במדויק על המרחקים והמבנה המקוריים בסצנה. המשקל שלו בהורדה עומד על 4 גיגה בייט, והוא מומר מראש לשימוש בספריית diffusers בפייתון.

גרסה 1.1 מתקנת שורת בעיות קשות שהיו בגרסה הראשונה. באימון הקודם השתרבבו אלפי כפילויות של תמונות אנשים באפור, תמונות מטושטשות ופרומפטים שגויים שגרמו למודל להוציא תוצאות מונוכרומטיות ומעוותות. הגרסה הזו אומנה מחדש על דאטה נקי עם אוגמנטציות כמו היפוך אופקי, והיא לא מוגבלת לאלגוריתם עומק יחיד. היא תוכננה להתמודד היטב גם עם רזולוציות שונות, מודלים חלופיים כמו leres או zoe, ואפילו מפות עומק סינתטיות שנשמרות ישירות ממנועי תלת ממד.

מתאים ל

  • הלבשת טקסטורות על תלת ממד

    אתם מייצאים מפת עומק מתוכנת תלת ממד ומייצרים סביבה חדשה שיושבת במדויק על הגאומטריה המקורית.

  • שמירה על קומפוזיציה בתמונה

    החלפת חומרים, תאורה ודמויות בצילום קיים תוך שמירה מלאה על היחסים והעומק של האובייקטים בחלל.

  • שילוב עם מעבדי עומק מתקדמים

    עבודה עם אלגוריתמים כמו zoe או leres ברזולוציות מותאמות בלי לאבד פרטים מבניים בזמן היצירה.

איפה זה נופל

המודל הזה מתאים אך ורק למשפחת Stable Diffusion 1.5 ולא יעבוד על ארכיטקטורות מודרניות כמו SDXL או Flux. הכרטיס מציין בפירוש שאם אתם משתמשים במעבד העומק Midas ברזולוציה של 384, כמעט שלא תרגישו הבדל בין גרסה 1.0 לגרסה 1.1, כך שהשדרוג לא תמיד מורגש. בנוסף, כל שינוי סגנון תלוי לחלוטין בפרומפטים באנגלית וביכולות המקוריות של מודל הבסיס הישן.

שאלות
נפוצות

האם המודל מקבל תמונה רגילה ומחלץ ממנה עומק לבד?

לא. המודל מצפה לקבל כקלט מפת עומק מוכנה, בדרך כלל תמונה בגווני אפור. אם יש לכם צילום רגיל, עליכם להריץ מודל עזר כמו Midas לפני שאתם מעבירים את המפה לרשת הזו.

האם אפשר להשתמש במודל הזה עם SDXL?

לא, המשקולות האלו אומנו ספציפית על Stable Diffusion 1.5. שימוש בהן מחייב מודל בסיס תואם מאותו דור, או מודלים שעברו fine-tuning על בסיס 1.5 כמו Dreambooth.

איך מריצים

המודל הזה אינו עצמאי ודורש טעינה של מודל בסיס, לרוב SD 1.5, יחד עם הספריות diffusers, transformers ו־accelerate. 4 גיגה בייט של משקלים לצד מודל התמונה המרכזי דורשים כרטיס מסך עם לפחות 8 עד 12 גיגה בייט של VRAM כדי לבצע הסקה בלי קריסות זיכרון.

בנוסף, המודל אינו מחלץ עומק מתמונה רגילה בעצמו. כדי להריץ את הצינור המלא מקצה לקצה, תצטרכו להתקין תלות חיצונית להערכת עומק כמו Midas, או לייצר את מפת העומק מראש בנפרד.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("lllyasviel/control_v11f1p_sd15_depth")
img = pipe("a photo").images[0]

הקבצים

12 קבצים במאגר, 4.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא CreativeML OpenRAIL M. הוא מתיר שימוש מסחרי והפצה, אבל מחייב אתכם לכלול את תנאי הרישיון ולהגביל את משתמשי הקצה משימושים מזיקים שמוגדרים בו, כמו יצירת תוכן פוגעני או הטעיה מכוונת.

  • שימוש מסחרי
  • שינוי הקוד
  • מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗