GPT
הוספת כלי
F

flux-controlnet-canny-v3

קוד פתוח

XLabs-AIother2024-08-16

  • diffusers
  • Stable Diffusion
  • image-generation
  • Flux
  • controlnet

מתאם מבוסס קווי מתאר למודל הבסיס של פלאקס, שמיועד לייצר תמונות חדשות בלי לאבד את הקומפוזיציה המקורית. הוא שוקל רק 1.4 גיגה בייט ומיועד למי שצריך שליטה חזקה במבנה.

  • 1.4 GBמשקל הקבצים
  • 1,683הורדות בחודש
  • 133לייקים

מה זה

מדובר במודל בקרה מסוג קאני בגרסה שלישית, שמתלבש על מודל הבסיס פלאקס נקודה אחת דב של בלאק פורסט לאבס. המטרה שלו ברורה, אתם מזינים תמונה, מחלצים ממנה מפת קצוות וקווים, והוא מכוון את הגנרציה כך שהתוצאה הסופית תישאר נעולה בדיוק על אותו מבנה גיאומטרי. הגרסה הזו מוגדרת כשיפור בריאליזם לעומת הגרסאות הקודמות בסדרה.

הוא מיועד לעבודה באנגלית ומשתלב בספריית דיפיוזרס, כשעיקר המיקוד של המפתחים שלו היה לחבר אותו ישירות לתוך קומפי יו איי. במקום לנסות לייצר קומפוזיציה מאפס עם פרומפטים מייגעים, הוא פשוט כופה את הגבולות הפיזיים של האובייקטים.

מתאים ל

  • העתקת תנוחות ומבנה

    שמירה מדויקת על צורת אובייקט או תנוחת גוף מתוך תמונה קיימת, תוך החלפה של הסגנון או הרקע.

  • עבודה בתהליכי קומפי

    שילוב מהיר בתוך תהליכי יצירה מקומיים שכבר מבוססים על קומפי יו איי ופלאקס.

  • מחקר והתנסות מקומית

    בדיקת יכולות שליטה מתקדמות על מודל התמונות של פלאקס בסביבה לא מסחרית.

איפה זה נופל

המודל אומן ברזולוציה קבועה של 1024 על 1024 פיקסלים ועובד רק ברזולוציה הזו, כך שאם אתם בונים על יחסי תמונה אחרים צפו לבעיות. מעבר לזה, הכרטיס שלו דל מאוד בפרטים טכניים מעמיקים, אין בו מדדי שגיאה כמותיים או מידע מפורט על מערך הנתונים שעליו הוא אומן. אתם תלויים לחלוטין ברגישות זיהוי הקצוות שלכם לפני הכניסה למודל.

אותה משפחה

flux-controlnet-canny יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

flux-controlnet-canny1,136

שאלות
נפוצות

האם אפשר להשתמש במודל הזה לגדלים שאינם ריבועיים?

היוצרים מציינים במפורש שהוא אומן על 1024 על 1024 ועובד ברזולוציה זו. ניסיון להריץ אותו על גדלים אחרים עשוי לעוות את הקווים או לפגוע באיכות התוצאה.

אפשר לשלב אותו באתר או אפליקציה בתשלום?

לא. המשקלים כפופים לרישיון הלא מסחרי של פלאקס דב, ולכן שימוש מסחרי כלשהו אסור.

איך מריצים

יש שתי דרכים עיקריות להריץ אותו, דרך סקריפט פייתון ממאגר הגיטהאב הרשמי של אקס לאבס, או באמצעות צומת מותאם אישית בתוך קומפי יו איי עם קובץ הזרימה שהם מצרפים. המשקל של הקונטרולנט עצמו קטן, כולה 1.4 גיגה בייט שמחולקים בין 12 קבצים, אבל אל תטעו, הוא לא רץ לבד באוויר.

כדי לעבוד איתו אתם חייבים לטעון ברקע את מודל הבסיס הכבד של פלאקס דב, מה שדורש כרטיס מסך חזק מאוד עם זיכרון וידאו משמעותי. אם אין לכם חומרה ייעודית כבדה מקומית, זה מסוג הדברים שעדיף לשלוח לעיבוד מרוחק.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("XLabs-AI/flux-controlnet-canny-v3")
img = pipe("a photo").images[0]

הקבצים

12 קבצים במאגר, 1.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון כאן מוגדר כאחר, ובפועל המשקלים כפופים לרישיון הלא מסחרי של פלאקס דב. בעברית פשוטה, אסור לשלב אותו במוצרים מסחריים, למכור שירות סביבו או לייצר איתו רווח ישיר, אלא אם קיבלתם החרגה מפורשת מהיוצרים.

הרישיון המלא בעמוד המודל ↗