GPT
הוספת כלי
F

flux-controlnet-depth-v3

קוד פתוח

XLabs-AIother2024-08-16

  • diffusers
  • Stable Diffusion
  • image-generation
  • Flux
  • controlnet

המתאם הזה מחבר מפות עומק למודל התמונות של פלוקס. מי שמחפש שליטה מדויקת בקומפוזיציה בלי לאבד את הריאליזם של המודל המקורי ירצה לבדוק את הגרסה הזו.

  • 1.4 GBמשקל הקבצים
  • 3,220הורדות בחודש
  • 119לייקים

מה זה

מדובר במתאם מסוג קונטרולנט שמיועד לפעול יחד עם מודל הבסיס פלוקס דב של בלאק פורסט לאבס. התפקיד שלו הוא לקבל מפת עומק, כלומר תמונה שמגדירה מה קרוב למצלמה ומה רחוק ממנה, ולכוון את יצירת התמונה כך שתשמור בדיוק על המבנה המרחבי הזה. המפתחים שחררו אותו בגרסה שלוש, כשהמטרה המוצהרת מול גרסאות קודמות היא תוצאות טובות וריאליסטיות יותר.

המודל אומן ספציפית ברזולוציה של 1024 על 1024 פיקסלים ומוגבל לעבודה בממדים האלה. במקום להסתמך רק על טקסט ולנחש איפה כל אובייקט ינחת בפריים, אתם קובעים את הגיאומטריה מראש דרך העומק. כרטיס המודל לא מציג מדדי ביצועים מספריים או השוואות כמותיות מול חלופות, אלא נשען על דוגמאות ויזואליות שצורפו למאגר ולסביבת העבודה בגיטהאב.

מתאים ל

  • העמדת דמויות לפי סצנה

    שומר על המרחק והמיקום המדויק של דמות בחדר מתוך מפת עומק קיימת בלי שהיא תזוז מההנחיה.

  • הדמיות עיצוב ואדריכלות

    מאפשר לשמור על נפח של חללים ומבנים קיימים ולהחליף חומרים וסגנונות בעזרת טקסט בלבד.

  • עבודה בתהליכי קומפי יו איי

    היוצרים סיפקו קובץ תהליך ייעודי ורכיבים תואמים שמאפשרים לחבר אותו ישירות לסביבת עבודה גרפית.

איפה זה נופל

המגבלה הטכנית הבולטת ביותר היא הרזולוציה. המודל אומן על 1024 על 1024 פיקסלים ומיועד לעבוד אך ורק ברזולוציה הזו, כך שאי אפשר לייצר איתו יחסי תמונה אחרים בלי לעוות את התוצאה או להסתבך בעיבוד מקדים.

בנוסף, הטקסט בדף המודל הוא באנגלית בלבד ואין שום התייחסות לעיבוד הנחיות בעברית. הכרטיס גם חסר נתונים מספריים על איכות היצירה או השוואות דיוק, ולכן חובה לבדוק אותו עצמאית מול מפות עומק מורכבות לפני שסומכים עליו.

שאלות
נפוצות

האם אפשר להשתמש במתאם הזה עם מודלים אחרים חוץ מפלוקס דב?

לא. המשקולות אומנו ישירות על גבי פלוקס דב ולא יעבדו עם מודלים ממשפחות אחרות כמו אס די אקס אל.

אפשר לייצר תמונות לרוחב או לאורך במקום ריבוע?

הכרטיס מדגיש שהאימון והפעולה נבנו ספציפית עבור 1024 על 1024 פיקסלים. סטייה מהפורמט הריבועי הזה לא נתמכת רשמית וצפויה לפגוע בתוצאה.

איך מריצים

יש שתי דרכים מוגדרות להריץ אותו. הראשונה היא דרך סקריפט הפייתון הראשי בריפו של הפרויקט עם ספריית דיפיוזרס, והשנייה, שנראית מיועדת לרוב המשתמשים, היא שימוש ברכיבים מותאמים אישית ובקובץ תהליך עבודה מוכן עבור קומפי יו איי.

המתאם עצמו תופס נפח של 1.4 גיגה בייט, אבל אסור לשכוח שהוא לא רץ לבד. הוא מתלבש על מודל הבסיס פלוקס דב, שהוא מודל כבד מאוד שדורש כרטיס מסך חזק עם זיכרון וידאו משמעותי. מי שאין לו חומרה ייעודית מקומית יתקשה להרים את השילוב הזה לבד.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("XLabs-AI/flux-controlnet-depth-v3")
img = pipe("a photo").images[0]

הקבצים

12 קבצים במאגר, 1.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר תחת תנאי השימוש הלא מסחריים של פלוקס דב. בעברית פשוטה, מותר לכם לבדוק, לחקור ולפתח לשימוש אישי או מחקרי, אבל אסור לחלוטין לשלב את המשקולות האלה במוצר מסחרי, בשירות בתשלום או בפעילות שמייצרת הכנסה.

הרישיון המלא בעמוד המודל ↗