SD3-Controlnet-Canny
קוד פתוחInstantXרישיון לא דווח2024-06-15
מתאם קונטרולנט שמביא זיהוי קצוות קאני לתמונות שנוצרות עם סטייבל דיפיוז'ן 3. הוא מאפשר לשמור על קווי מתאר מדויקים של אובייקטים כשמייצרים גרסאות חדשות.
- 595Mפרמטרים
- 1.1 GBמשקל הקבצים
- 368הורדות בחודש
- 119לייקים
מה זה
מדובר במודל בקרה מסוג קאני שנבנה במיוחד עבור סטייבל דיפיוז'ן 3 על ידי צוות אינסטנט איקס. הוא יושב על הרשת הראשית ומאפשר להזין תמונת קווי מתאר כדי להכתיב למודל היצירה את המבנה המדויק של הפריטים בסצנה, תוך שליטה בעוצמת ההשפעה בין אפס לאחד.
במשקל של כ־1.1 גיגה בייט ועם כ־595 מיליון פרמטרים, הוא מתפקד כתוסף שמתלבש על מודל הבסיס הקיים. אין כאן מדידות ביצועים מספריות בכרטיס המודל, אלא רק הדגמה חזותית של השפעת משקלי הבקרה, מ־0.0 שבו אין השפעה ועד 0.9 שבו התמונה הסופית נצמדת לחלוטין לקווי המתאר שהזנתם.
מתאים ל
- שמירה על מבנה מוצר ברינדור
מאפשר לשמור על קווי המתאר המדויקים של חפץ או מוצר ולייצר לו רקעים וסגנונות חדשים ברזולוציית 1024 על 1024.
- המרת איורים לתמונות ריאליסטיות
לוקח שרטוטים ידניים ומשתמש בקווים כדי להפיק סצנות מורכבות דרך סטייבל דיפיוז'ן 3 מבלי לאבד את הקומפוזיציה.
- שחזור תנוחות ואובייקטים מסצנה
מחלץ גבולות מתמונה קיימת ומייצר אותה מחדש בסגנון שונה לחלוטין לפי עוצמת המשקל שבוחרים בהרצה.
איפה זה נופל
המגבלה הכי משמעותית שהמפתחים מודים בה היא רזולוציית האימון. הוא אומן אך ורק בגודל של 1024 על 1024 פיקסלים. ברגע שמנסים להריץ אותו על גדלים אחרים, הביצועים שלו יורדים ומתקבלות תוצאות פחות טובות. לפני שמשלבים אותו בפרויקט קיים, חייבים לוודא שזרימת העבודה שלכם נעולה על הריבוע הזה בדיוק, לפחות עד שהמפתחים יאמנו גרסה שתומכת בריבוי רזולוציות.
שאלות
נפוצות
האם אפשר להריץ אותו על תמונות מלבניות או רחבות?
היוצרים מציינים במפורש שהוא מפיק את התוצאות הטובות ביותר רק בריבוע של 1024 על 1024 פיקסלים, שזה הגודל שבו הוא אומן. כל רזולוציה אחרת תספק תוצאות פחות טובות ולא מומלץ להשתמש בו למידות שונות.
איזו גרסה של דיפיוזרס נדרשת בקוד?
הכרטיס דורש גרסה של diffusers ששווה או גבוהה מ־0.30.0.dev0. התקנה סטנדרטית ישנה יותר פשוט לא תתמוך בחיבור של הקונטרולנט הזה לסטייבל דיפיוז'ן 3.
איך מריצים
כדי להריץ אותו צריך להשתמש בספריית דיפיוזרס בגרסת פיתוח 0.30.0.dev0 ומעלה, אחרת הקוד פשוט לא יזהה את החיבור למודל הבסיס. המודל עצמו תופס נפח קטן יחסית של כ־1.1 גיגה בייט שמחולק לעשרה קבצים.
בגלל שהוא רץ יחד עם מודל סטייבל דיפיוז'ן 3 המקורי, דרישות החומרה נגזרות ישירות ממודל הבסיס ולא ממנו לבדו. אם אין לכם כרטיס מסך חזק עם מספיק זיכרון וידאו שמסוגל לטעון את שניהם במקביל ברזולוציה גבוהה, יהיה חכם יותר לחפש נקודת קצה מנוהלת במקום לחנוק את המחשב המקומי.
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("InstantX/SD3-Controlnet-Canny")
img = pipe("a photo").images[0]הקבצים
10 קבצים במאגר, 1.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
היוצרים לא דיווחו על רישיון שימוש בעמוד המודל. מבחינה משפטית זה משאיר אתכם באוויר, בלי היתר מפורש לשימוש מסחרי ובלי הגדרת תנאי הפצה. אם אתם בונים מוצר לחברה או ללקוחות, אסור לגעת בזה עד שהם יפרסמו תנאים ברורים.