GPT
הוספת כלי
F

flux-controlnet-collections

קוד פתוח

XLabs-AIother2024-08-13

  • diffusers
  • Stable Diffusion
  • image-generation
  • Flux
  • text-to-image

אוסף מתאמי שליטה שמאפשר לכוון יצירת תמונות לפי קווי מתאר או עומק. הוא מתאים למי שרוצה להדביק קומפוזיציה מדויקת למודל הבסיס בלי לוותר על האיכות שלו.

  • 11.1 GBמשקל הקבצים
  • 4,905הורדות בחודש
  • 548לייקים

מה זה

המאגר הזה מרכז נקודות ביקורת של מתאמי בקרה מסוג קונטרולנט שמיועדים לעבודה מול מודל הבסיס פלוקס 1 דב. במקום להסתמך רק על טקסט ולחכות להגרלה מוצלחת, מחברים תמונת מקור כדי להכתיב למודל את המבנה המדויק. החבילה כוללת שלושה סוגי בקרה שונים: מפת עומק מבוססת מידאס, זיהוי קצוות בשיטת קאני, וזיהוי קווים רכים בשיטת הד.

כל המתאמים באוסף אומנו ישירות על רזולוציה של 1024 על 1024 פיקסלים, וזה גם הפורמט שבו הם מיועדים לעבוד. המשמעות היא שהם שומרים על החדות המקורית של מודל הבסיס בלי צורך בעבודה עקיפה של מתיחה, מה שמתאים במיוחד לעיבוד תמונות מפורטות.

מתאים ל

  • שמירה על פוזות ומבנה

    שימוש במודל הקאני כדי לנעול זוויות גוף ומבנה של אובייקטים מתמונת מקור אחת לתמונה חדשה לגמרי.

  • העברת עומק אדריכלי

    שילוב מודל העומק כדי לקחת תלת ממד או הדמיה גולמית ולייצר סביבה מפורטת ששומרת על המרחקים המקוריים.

  • איור לפי סקיצה רכה

    עבודה עם מודל ההד להמרת רישום ידני או ציור קווי לתמונה גמורה בלי לאבד את הקווים המנחים.

איפה זה נופל

הבעיה המרכזית היא הקשיחות ברזולוציה. המתאמים אומנו אך ורק לעבודה של 1024 על 1024 פיקסלים, מה שאומר שניסיון להזין או לייצר יחס תמונה אחר עלול לשבור את הדיוק או לעוות את התוצאה. מעבר לכך, אין כאן תמיכה מובנית בשפות מלבד אנגלית, כך שכל הנחיית טקסט שתתווסף לתמונת המקור חייבת להיות באנגלית. לפני שמשלבים את זה בתהליך עבודה, צריך לבדוק היטב אם מפות הקווים מייצרות ארטיפקטים על גבי המודל הכבד.

שאלות
נפוצות

אפשר להריץ את המתאמים האלה על תמונות ברזולוציה מלבנית?

הכרטיס מציין במפורש שהאימון נעשה על 1024 על 1024 פיקסלים ושהם מיועדים לעבוד ברזולוציה הזו בלבד. הזנת יחס גובה רוחב שונה עלולה לפגוע משמעותית ביכולת הבקרה של המתאם על התוצאה.

איך הכי קל להתחיל לעבוד איתם?

הדרך הנוחה ביותר היא לחבר אותם לתוך ממשק קומפי יו איי באמצעות התוסף שהמפתחים שחררו בגיטהאב. הם צירפו קובצי תהליך עבודה מוכנים שמאפשרים פשוט לטעון את המודל, לחבר את תמונת הבקרה ולהתחיל לייצר.

איך מריצים

בשביל להריץ את זה צריך קודם כל את מודל הבסיס עצמו, שהוא כבד מאוד בפני עצמו, ובנוסף להוריד את המשקלים של המתאמים שתופסים יחד 11.1 גיגה בייט. ברירת המחדל לעבודה היא דרך צמתים מותאמים לתוכנת קומפי יו איי, שם יש קובצי תהליך עבודה מוכנים לכל אחד מסוגי הבקרה. מי שמעדיף סקריפטים יכול להריץ פייתון ישירות דרך המאגר בגיטהאב או לפתוח ממשק גרדיו.

מבחינת חומרה, כרטיס המסך שלכם חייב להחזיק גם את המודל הראשי וגם את שכבת הבקרה בזיכרון בו זמנית. אם אין לכם מעבד גרפי חזק עם שפע זיכרון ייעודי, הריצה המקומית פשוט תיכשל, ובמצב כזה עדיף לחפש נקודת קצה מרוחקת שמריצה את המערך הזה מוכן בענן.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("XLabs-AI/flux-controlnet-collections")
img = pipe("a photo").images[0]

הקבצים

33 קבצים במאגר, 11.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המשקלים משוחררים תחת תנאי הרישיון הלא מסחרי של פלוקס 1 דב. זה אומר שאי אפשר להשתמש בהם במוצר שמייצר הכנסה, ואי אפשר למכור שירות שמבוסס עליהם ישירות ללקוחות. זה מיועד למחקר, ניסויים אישיים ובדיקות היתכנות בלבד.

הרישיון המלא בעמוד המודל ↗