control_v11e_sd15_ip2p

מה זה

מדובר במשקולת ממשפחת גרסה 1.1 שפותחה על גבי סטייבל דיפיוז'ן 1.5, ומיועדת למשימות תמונה לתמונה לפי מנגנון instruct pix2pix. בניגוד לרוב דגמי הבקרה האחרים בסדרה שמחייבים תמונת תנאי מוקדמת כמו סריקת קצוות, שרטוט או תנוחות גוף, כאן אין צורך בתנאי חיצוני כזה. אתם מזינים את התמונה המקורית עצמה יחד עם פקודת עריכה כתובה באנגלית, והוא מיישם את השינוי ישירות על הפיקסלים.

התוספת של 361 מיליון הפרמטרים מתחברת אל המודל הבסיסי במבנה רשת שמכוון את תהליך הדיפיוז'ן. הדגם הומר לפורמט של ספריית diffusers, כך שקל לשלב אותו בפייפליינים קיימים בפייתון בלי להסתבך עם קבצי משקולות גולמיים. השוני המרכזי בינו לבין שאר 14 הדגמים שיצאו באותה סדרה הוא ההתמקדות בטרנספורמציה ישירה של תמונה לפי שפה חופשית, ולא בשמירה קשיחה על גאומטריה או קומפוזיציה.

מתאים ל

• עריכת תמונות לפי פקודה

  שינוי אלמנטים או סגנון של תמונה קיימת באמצעות טקסט, בלי צורך לחלץ ממנה מפות קווים או עומק.

• פייפליין מקומי לגרסה 1.5

  הוספת יכולת עריכה מבוססת הוראות ישירות לקוד פייתון קיים שמשתמש בספריית diffusers.

• החלפת סגנונות וצבעים

  התאמת תאורה, מזג אוויר או אווירה בתמונה נתונה על ידי הזנת הנחיות מילוליות ישירות.

איפה זה נופל

האות e בשם המודל מסמנת שמדובר בגרסה ניסיונית ולא בגרסת פרודקשן יציבה, בניגוד לדגמים שסומנו באות p. אין בכרטיס המודל נתוני מדידה מספריים או מבחני ביצועים, והיוצרים לא מצרפים תיעוד על כמות המידע או אופן האימון המדויק של הגרסה הזו. בנוסף, הוא מתבסס כולו על הבנת הוראות באנגלית, כך שפקודות בעברית פשוט לא יעבדו בצורה תקינה. עריכות מורכבות עלולות לשנות חלקים בתמונה שלא ביקשתם לגעת בהם.

איך מריצים

טוענים אותו דרך diffusers יחד עם מודל הבסיס של גרסה 1.5, באמצעות החבילות transformers ו־accelerate. כל המחסן שוקל 4.0 גיגה-בייט שמחולקים בין 11 קבצים, והוא דורש כרטיס מסך עם זיכרון גרפי של 8 עד 12 גיגה-בייט לפחות כדי להחזיק את שני המודלים במקביל בזמן יצירת התמונה.

אם יש לכם שרת מקומי או כרטיס חזק, הרצה עצמאית נותנת שליטה מלאה בכל צעד ובמשקלי ההשפעה של הבקרה. שירותי ענן או ממשקי צד שלישי עדיפים אם אין לכם חומרה ייעודית, או אם אתם לא רוצים לשלם על שרת ייעודי שפועל רצוף רק בשביל עריכות בודדות.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("lllyasviel/control_v11e_sd15_ip2p")
img = pipe("a photo").images[0]

הקבצים

11 קבצים במאגר, 4.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• diffusion_pytorch_model.bin1.4 GB
• diffusion_pytorch_model.safetensors1.4 GB
• diffusion_pytorch_model.fp16.bin722.7 MB
• diffusion_pytorch_model.fp16.safetensors722.6 MB
• images/image_out.png482.2 KB
• images/input.png390.7 KB
• sd.png59.5 KB
• README.md14.9 KB
• .gitattributes1.5 KB
• control_net_pix2pix.py1.3 KB
• config.json995 B

הרישיון

הרישיון הוא CreativeML OpenRAIL M, שמתיר שימוש מסחרי חופשי אך כולל מגבלות אתיות על סוגי השימושים המותרים. אתם יכולים לשלב אותו במוצר או שירות, בתנאי שלא מפרים את רשימת השימושים האסורים המוגדרת בהסכם ומעבירים את אותם תנאי רישיון הלאה למשתמשי הקצה.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗