Qwen-Image-ControlNet-Inpainting

מה זה

מדובר במודל קונטרול-נט שמיועד ספציפית למשימות של עריכת פנים התמונה והרחבה שלה החוצה על בסיס מסיכות. הוא בנוי משישה בלוקים כפולים שהועתקו ישירות משכבות הטרנספורמר של מודל הבסיס, ואומן מאפס על פני שישים וחמישה אלף צעדים עם מאגר של עשרה מיליון תמונות כלליות ותמונות של אנשים.

האימון נעשה ברזולוציה גבוהה למדי של 1328 על 1328 פיקסלים בדיוק של בי-פלוט 16. השילוב הזה הופך אותו למתאים לא רק להסרת רקעים פשוטה, אלא גם לשינוי טקסט בתוך תמונה קיימת ולהחלפת אובייקטים שלמים בלי לאבד את ההקשר החזותי הכללי.

מתאים ל

• החלפת אובייקטים בתמונה

  החלפה של פריטים ספציפיים לפי מסיכה תוך שמירה על התאורה והסגנון של שאר התמונה.

• עריכת טקסט קיים

  שינוי כיתובים על גבי שלטים או תוויות בדיוק של מסיכה בלי לשבור את המרקם המקורי.

• הרחבת שוליים החוצה

  ציור שטחים חדשים מסביב לתמונה ברזולוציה גבוהה של 1328 פיקסלים בלי מריחות.

איפה זה נופל

היוצרים מודים במפורש שהמודל רגיש מאוד לניסוח הפרומפט שלכם. הוא נכשל אם נותנים לו הוראות ישירות כמו תחליף את החולצה, ודורש תיאור מלא ומפורט של כל התמונה, כולל הרקע וכולל האזור שעובר עריכה. בנוסף המודל אומן בשפה האנגלית בלבד, כך שאי אפשר להזין לו פרומפטים בעברית, ותצטרכו לבדוק היטב ידנית כל שינוי טקסטואלי בתמונה לפני שאתם סומכים עליו במוצר סופי.

איך מריצים

המודל שוקל ארבעה גיגה-בייט ומכיל כ־2.1 מיליארד פרמטרים, אבל צריך לזכור שהוא לא רץ לבד אלא מולבש על מודל הבסיס באמצעות ספריית דיפיוזרס. כדי להריץ את שניהם יחד ברזולוציית המקור בלי לקבל שגיאות זיכרון תצטרכו כרטיס מסך חזק עם זיכרון וידאו נדיב.

מבחינת סביבת עבודה, יש לו תמיכה מובנית בקומפי-יו-איי מגרסה 0.3.59 ומעלה עם וורקפלו רשמי מוכן, וגם תמיכה חיצונית ברשת ליב-ליב. אם אין לכם חומרה ייעודית מקומית שסוחבת את השילוב הזה, הפעלה דרך שירות ענן או ווב תהיה הרבה יותר מעשית.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("InstantX/Qwen-Image-ControlNet-Inpainting")
img = pipe("a photo").images[0]

הקבצים

15 קבצים במאגר, 4.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• diffusion_pytorch_model.safetensors4.2 GB
• assets/images/image2.png5.5 MB
• assets/results/output2.png5.2 MB
• assets/images/image1.png4.3 MB
• assets/results/output1.png4.2 MB
• assets/images/image3.png3.4 MB
• assets/results/output3.png3.1 MB
• pipeline_qwenimage_controlnet_inpaint.py43.8 KB
• assets/masks/mask2.png22.3 KB
• assets/masks/mask1.png19.4 KB
• assets/masks/mask3.png18.2 KB
• app_inpaint_hf.py11.7 KB
• README.md3.8 KB
• .gitattributes1.9 KB
• config.json482 B

הרישיון

המודל מופץ תחת רישיון אפאצ'י שתיים אפס. זה רישיון פתוח שמתיר שימוש מסחרי חופשי, שינוי של הקוד והפצה פנימית או מסחרית בתוך המוצר שלכם. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים המקורית והצהרה על שינויים שביצעתם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗