Paint-by-Example — הדגמה

מה זה

מעלים תמונת מקור ומסמנים עליה עם כלי הציור את האזור שרוצים להחליף. במקום להקליד טקסט שמתאר מה לשתול שם, מעלים תמונת רפרנס של החפץ הרצוי, והמערכת מייצרת תמונה חדשה שבה האובייקט משתלב בחלק המסומן.

מאחורי הקלעים רץ מודל דיפוזיה בשם Fantasy-Studio/Paint-by-Example שנטען דרך ספריית diffusers של פייתון. הוא מקבל את המקור, את המסיכה שציירתם ואת תמונת הרפרנס, ומחשב עיבוד שמתאים את החפץ לסביבה החדשה מבחינת תאורה וזווית. הממשק כולל שתי גלריות מובנות של דוגמאות לבדיקה, אחת לתמונות מקור והשנייה לתמונות רפרנס, עם שתים עשרה דוגמאות בכל עמוד כדי שאפשר יהיה לנסות את היכולות בלי להעלות קבצים אישיים מיד בהתחלה.

מתאים ל

• שתילת חפץ מתוך צילום

  מסמנים אזור בתמונה ומדביקים בו פריט מתמונת רפרנס בצורה שמתאימה לתאורה ולרקע.

• החלפת אובייקט קיים

  מוחקים פריט שמפריע בפריים ומחליפים אותו באובייקט אחר לפי דוגמה חזותית בלבד.

• בדיקת שילובי עיצוב

  מנסים איך רהיט או מוצר נראים בתוך חלל נתון בלי לעבוד ידנית בפוטושופ.

איפה זה נופל

הבעיה המרכזית כרגע היא שהאפליקציה נמצאת בסטטוס של שגיאת ריצה (RUNTIME_ERROR), כך שאי אפשר להשתמש בה ישירות בדפדפן עד שיתקנו אותה. מעבר לזה, המודל מסתמך על התאמה אוטומטית של תמונת הרפרנס ולא תמיד שומר על הזוויות המדויקות של האובייקט המקורי. כדאי לזכור שהקוד לא כולל אפשרויות עריכה מעבר להחלפת שטח שמסומן במסיכה.

איך מריצים

טוענים תמונת מקור בכפתור ההעלאה ומסמנים בעזרת כלי השרטוט את המקטע שרוצים להחליף. לאחר מכן מעלים את תמונת הרפרנס, וקובעים את הפרמטרים בסרגלים בצד. יש סליידר לערך הדיוק guidance scale שמוגדר כברירת מחדל על 5 ויכול להגיע עד 15, כמות צעדי הדיפוזיה שמוגדרת על 50 צעדים מתוך טווח של 2 עד 75, וסליידר עבור ה־seed לבחירת גרעין אקראי או מספר קבוע עד 10000. בסיום לוחצים על כפתור Paint! וממתינים. ההרצה מבוססת על חומרת t4-medium, אבל בעמוד יש גם כפתור שיתוף לקהילה.

pip install -U huggingface_hub
hf download Fantasy-Studio/Paint-by-Example

הקבצים

12 קבצים במאגר, 16.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.ckpt12.6 GB
• unet/diffusion_pytorch_model.bin3.4 GB
• image_encoder/pytorch_model.bin1.5 GB
• vae/diffusion_pytorch_model.bin334.7 MB
• README.md3.3 KB
• .gitattributes1.5 KB
• unet/config.json877 B
• vae/config.json553 B
• image_encoder/config.json524 B
• feature_extractor/preprocessor_config.json518 B
• model_index.json498 B
• scheduler/scheduler_config.json346 B

הרישיון

הרישיון לא דווח בקוד או בפרטי הדף. כשאין רישיון מוגדר, לא ידוע אם מותר להשתמש בתוצרים לצרכים מסחריים, ומומלץ לבדוק את תנאי המודל המקורי לפני שמעלים קבצים פרטיים.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗