GPT
הוספת כלי
C

controlnet-union-sdxl-1.0-promax

קוד פתוח

brad-twinklapache-2.02024-07-15

  • diffusers
  • safetensors
  • Text-to-Image
  • ControlNet
  • Diffusers

מודל בקרה מאוחד ל־SDXL שמרכז מגוון שיטות הנחיה בקובץ אחד. הוא מתאים למי שרוצה לשלוט במבנה התמונה בלי לנהל כמה מתאמים שונים במקביל.

  • 1.3Bפרמטרים
  • 2.4 GBמשקל הקבצים
  • 1,977הורדות בחודש
  • 50לייקים

מה זה

מדובר בעותק ישיר של מודל ControlNet Union שנבנה על בסיס SDXL במקור על ידי xinsir. המפתח שהעלה את המאגר הזה רק שינה את שמות הקבצים כדי לפשט את הטעינה שלהם בקוד, בלי שום שינוי בארכיטקטורה או במשקולות.

הייחוד כאן הוא איחוד של 12 סוגי בקרה שונים וחמישה מצבי עריכה מתקדמים בתוך מודל יחיד של 1.3 מיליארד פרמטרים. במקום להוריד מודל ייעודי לקווי מתאר, מודל נפרד לעומק ומודל נוסף לתנוחות גוף, מקבלים נקודת קצה אחת שמטפלת בכל סוגי הקלט האלה יחד או לחוד ישירות בספריית diffusers.

מתאים ל

  • שליטה בתנוחות ועומק

    הכוונת דמויות ומבנה סצנה מורכבת ב־SDXL בלי להחליף מודלים באמצע התהליך.

  • עריכת תמונות מונחית

    ביצוע מניפולציות ממוקדות על תמונות קיימות באמצעות מצבי העריכה המובנים.

  • פישוט פייפליין ייצור

    צמצום זיכרון ותשתיות על ידי שימוש במודל בקרה אחד במקום מספר מודלים נפרדים.

איפה זה נופל

זה לא פיתוח מקורי אלא שכפול שנועד ליישר שמות קבצים, ולכן אין כאן תיעוד טכני מלא או תמיכה מסודרת מהיוצר. מעבר לכך, הדחיסה של תריסר מנגנוני בקרה לתוך מודל יחיד עלולה לפגוע בדיוק בהשוואה למודלים ייעודיים שנבנו עבור משימה בודדת כמו קווי קאני בלבד. צריך לבדוק היטב אם השילובים המורכבים מחזיקים מעמד בלי לייצר ארטיפקטים בתמונה הסופית.

שאלות
נפוצות

מה ההבדל בין המאגר הזה למודל המקורי של xinsir?

אין הבדל במשקולות או בביצועים. המעלה שינה רק את שמות הקבצים כדי להקל על הטעינה והאינטגרציה בסקריפטים מבוססי diffusers.

האם המודל יכול לייצר תמונות לגמרי בעצמו?

לא. מדובר במודל בקרה שמתחבר למודל בסיס של SDXL, ולכן חובה להוריד ולהריץ את SDXL ברקע כדי לקבל תמונה.

איך מריצים

המודל שוקל 2.4 גיגה-בייט, אבל הוא לא רץ לבד. הוא מתלבש על גבי SDXL, מה שאומר שבפועל תצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה-בייט זיכרון גרפי כדי להריץ את שניהם יחד בלי לקרוס.

אם אתם בונים שירות שצריך לשרת משתמשים בזמן אמת ואין לכם שרת עם חומרה מתאימה, החזקה עצמית תעלה לא מעט כסף בתשתיות. במצב כזה עדיף לשקול שימוש בנקודות קצה מנוהלות, אלא אם פרטיות המידע מחייבת ריצה מקומית בלבד.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("brad-twinkl/controlnet-union-sdxl-1.0-promax")
img = pipe("a photo").images[0]

הקבצים

124 קבצים במאגר, 2.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו כחלק ממוצר שלכם, כל עוד שומרים על הודעת הרישיון המקורית ומציינים את השינויים שבוצעו.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗