control_v11p_sd15_canny

מה זה

מדובר ברשת מסוג קונטרול-נט עם 361 מיליון פרמטרים, שמתלבשת על מודל הבסיס ומוסיפה לו התניה לפי קווי מתאר בשיטת קאני. אתם מחלצים מפת קווים שחור-לבן מתמונת קלט, והוא דואג שהיצירה החדשה תיבנה בדיוק על פי הגבולות האלה.

גרסה זו, 1.1, מחליפה את הדור הראשון ומתקנת פגמים רציניים בדאטה המקורי. בגרסה הקודמת היו אלפי תמונות אנושיות משוכפלות בשחור-לבן שגרמו לפלט אפור לא רצוי, קבצים באיכות ירודה עם דחיסת JPEG וטעויות בסקריפט שהתאימו טקסט שגוי לתמונות. האימון מחדש נמשך שלושה ימים על שמונה מעבדי A100 עם אוגמנטציות כמו היפוך אופקי, מה שמייצר תוצאות עקביות יותר ללא הנטיות המוזרות של הדגם הישן.

מתאים ל

• שמירה על מבנה מוצר

  יצירת עיבודים חדשים למוצר קיים תוך שמירה מוחלטת על קווי המתאר החיצוניים והזוויות שלו.

• החלפת סגנון אמנותי

  המרת תצלום רגיל לאיור או ציור בסגנון שונה בלי להזיז אלמנטים מהמיקום המקורי שלהם בפריים.

• עיצוב פנים ואדריכלות

  הלבשת טקסטורות וריהוט חדש על גבי מבנה חדר קיים לפי שרטוט קווים מדויק.

איפה זה נופל

המודל רגיש לחלוטין לאיכות מפת הקווים שמזינים לו. אם האלגוריתם של קאני יתפוס רעש רקע מיותר, המודל ינסה לשחזר כל קו לא רלוונטי בתוצאה הסופית ויפגע באמינות התמונה. בנוסף, הוא אומן עבור סטייבל דיפיוז'ן 1.5 באנגלית, כך ששימוש במודלים אחרים מוגדר כניסיוני בלבד ואינו מבטיח תוצאה יציבה.

איך מריצים

בשביל להריץ אותו צריך להתקין את diffusers, transformers, accelerate וכן את opencv כדי לחלץ את קווי המתאר מהתמונה. הקבצים שוקלים 4 ג'יגה-בייט, אבל חשוב לזכור שאי אפשר להריץ אותו לבד. הוא חייב לפעול במקביל למודל הבסיס של סטייבל דיפיוז'ן 1.5, כך שנדרש כרטיס מסך שיכול להחזיק את שני המודלים יחד בזיכרון בזמן ההסקה.

המפתחים הוציאו 14 גרסאות שונות של קונטרול-נט, כגון עומק, סגמנטציה וציור קווי. הגרסה הזו מיועדת ספציפית לקווי קאני, כך שאם הדרישה היא שליטה לפי תנוחות גוף או עומק תלת-ממדי, צריך מודל אחר מהסדרה.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("lllyasviel/control_v11p_sd15_canny")
img = pipe("a photo").images[0]

הקבצים

15 קבצים במאגר, 4.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• diffusion_pytorch_model.bin1.4 GB
• diffusion_pytorch_model.safetensors1.4 GB
• diffusion_pytorch_model.fp16.bin722.7 MB
• diffusion_pytorch_model.fp16.safetensors722.6 MB
• images/bird.png1.1 MB
• images/input.png1.1 MB
• images/image_out.png835.2 KB
• images/bird_canny_out.png834.9 KB
• sd.png59.5 KB
• images/bird_canny.png29.1 KB
• images/control.png29.1 KB
• README.md16.6 KB
• .gitattributes1.6 KB
• control_net_canny.py1.4 KB
• config.json996 B

הרישיון

הרישיון הוא CreativeML OpenRAIL M, שמאפשר שימוש מסחרי והפצה של המודל והתוצרים שלו. עם זאת, הרישיון כולל מגבלות שימוש ספציפיות בתחומים מסוכנים או פוגעניים, ומחייב אתכם לצרף את תנאי הרישיון המקוריים בכל הפצה או שילוב שלו במוצר.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗