GPT
הוספת כלי
S

sd-controlnet-depth

קוד פתוח

lllyasvielopenrail2023-02-24

  • diffusers
  • safetensors
  • art
  • controlnet
  • stable-diffusion

שכבת בקרה לתמונות ששומרת על עומק תלת ממדי מדויק מתוך מפת עומק. היא מיועדת למי שרוצה לשלוט במיקום ובמרחב של אובייקטים בתוך סטייבל דיפיוז'ן.

  • 361Mפרמטרים
  • 2.7 GBמשקל הקבצים
  • 1,635הורדות בחודש
  • 63לייקים

מה זה

מדובר במודל שמתחבר ישירות לסטייבל דיפיוז'ן מגרסה 1.5 ומוסיף לו התניה מרחבית. במקום להסתמך רק על טקסט ומזל, אתם מזינים מפת עומק בגווני אפור, והוא מייצר תמונה חדשה ששומרת על המבנה המרחבי והמרחקים של המקור. שחור מייצג אזורים רחוקים ולבן מייצג אזורים קרובים.

המשקל שלו עומד על 361 מיליון פרמטרים, והוא אומן על שלושה מיליון צמדים של תמונות עומק ותיאורי טקסט. מפות העומק לאימון הופקו באמצעות מודל מידאס, ותהליך האימון לקח 500 שעות מעבד גרפי על אנבידיה A100 של 80 גיגה בייט. בשונה ממודלים שמסתמכים על קווי מתאר חיצוניים בלבד, הוא מבין נפח והסתרה של עצמים זה על גבי זה.

מתאים ל

  • החלפת חומרים והדמיות

    שמירה על המבנה המרחבי של חדר או מוצר תוך שינוי מלא של הטקסטורות והסגנון לפי טקסט.

  • קומפוזיציה לפי סצנות תלת ממד

    יצירת מפת עומק מתוכנת תלת ממד והפיכתה לתמונה גמורה בלי לאבד זוויות מצלמה.

  • שינוי דמויות לפי צילום קיים

    החלפת הדמות בתמונה תוך שמירה על הנפח, המרחק וההעמדה המדויקת שלה במרחב.

איפה זה נופל

המודל אומן ספציפית על סטייבל דיפיוז'ן 1.5 ומפות שהופקו במידאס. הכרטיס מציין שתמיכה במודלים אחרים, כמו גרסאות שעברו דרימבות', היא ניסיונית בלבד. אם תשתמשו במפת עומק שלא תואמת את הטווח או הסגנון שמידאס מפיק, השליטה במבנה תשתבש והתוצאה תתרחק מהפרומפט. הוא גם תומך רשמית באנגלית בלבד.

שאלות
נפוצות

האם המודל יכול לרוץ לבד ללא מודל בסיס נוסף?

לא. מדובר ברשת בקרה שמיועדת להתחבר למודל דיפוזיה קיים. כדי לייצר תמונה חייבים לטעון גם את סטייבל דיפיוז'ן 1.5 במקביל.

איך מייצרים את תמונת הקלט עבור המודל?

הקלט דורש תמונת עומק בגווני אפור שבה שחור מסמן עומק ולבן מסמן קרבה. המודל אומן על מפות שהופקו באמצעות כלי מידאס, ולכן שימוש באלגוריתם הזה ייתן את התוצאות הצפויות ביותר.

איך מריצים

מריצים אותו דרך ספריית diffusers יחד עם transformers ו־accelerate בפייתון. הוא לא עובד לבד, אלא מתלבש על גבי משקולות הבסיס של סטייבל דיפיוז'ן 1.5, כך שצריך לטעון את שניהם יחד לזיכרון כרטיס המסך.

הקבצים תופסים 2.7 גיגה בייט על הדיסק, ובפועל צריך כרטיס מסך שמסוגל להחזיק גם את מודל הבסיס וגם את שכבת השליטה. אם אין לכם חומרה מקומית ייעודית לתהליך היצירה, או שהעומס נמוך ומזדמן, שימוש בספק חיצוני יחסוך את עלויות התחזוקה של השרת.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("lllyasviel/sd-controlnet-depth")
img = pipe("a photo").images[0]

הקבצים

9 קבצים במאגר, 2.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא CreativeML OpenRAIL M, שמאפשר שימוש מסחרי ומחקר חופשי. עם זאת, הוא כולל תנאי שימוש אחראי שמגבילים תחומים מסוימים, כמו הפצת מידע כוזב, פגיעה באנשים או יצירת תוכן מזיק. כשאתם מפיצים מוצר שמבוסס עליו, חובה להעביר את אותן הגבלות הלאה למשתמשי הקצה.

  • שימוש מסחרי
  • שינוי הקוד
  • מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗