PhotoMaker — הדגמה
קוד פתוחTencentARCapache-2.02024-01-13
מעלים תמונות פנים, כותבים תיאור ומקבלים תמונות חדשות ששומרות על תווי הפנים של האדם. הכלי מיועד למי שרוצה לייצר פורטרטים מותאמים אישית בלי לאמן מודל מאפס.
- 891 MBמשקל הקבצים
- —הורדות בחודש
- 1,955לייקים
מה זה
אתם מעלים תמונות של אדם אחד, בוחרים סגנון עיצובי וכותבים תיאור טקסטואלי שמכיל מילת הפעלה ייעודית. הממשק מחזיר גלריית תמונות חדשה שמציגה את אותה הדמות בסצנות, לבוש או סגנונות שונים לפי מה שביקשתם.
מאחורי הקלעים רץ שילוב של PhotoMaker עם מודל הבסיס RealVisXL_V3.0 על תשתית של Stable Diffusion XL, לצד רכיבי DDPM. הטכניקה מבוססת על מאמר מ־CVPR שממזג כמה תמונות פנים להטמעה אחת כדי לשמור על הדמיון למקור, במקום להסתמך רק על תמונה בודדת. הממשק כולל דוגמאות מובנות כמו אישה אדומת שיער ודמותו של ניוטון.
מתאים ל
- יצירת פורטרט בסגנון מוגדר
מעלים תמונות פנים, בוחרים תבנית סגנון ויוצרים תמונת פרופיל או אמנות חדשה של הדמות.
- שילוב דמות בסצנה חדשה
כותבים תיאור מפורט עם מילת ההפעלה וממקמים את הדמות בסביבה או בלבוש שלא קיימים במקור.
- בדיקת שמירת זהות פנים
משווים בין תמונה אחת לכמה תמונות קלט כדי לראות איך שילוב התמונות משפיע על הדיוק.
איפה זה נופל
הממשק קשיח מאוד לגבי הניסוח. אם תשכחו את מילת ההפעלה המדויקת של המודל, או אם תשתמשו בה יותר מפעם אחת בתיאור, הריצה תיעצר עם שגיאה. חובה להעלות תמונה שרואים בה פנים בבירור, אחרת המערכת לא תתחיל לעבוד. בנוסף, חומרת zero-a10g מוקצית לפי דרישה, כך שאם יש תור בענן תצטרכו להמתין שהמשאבים יתפנו.
אותה משפחה
PhotoMaker יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם השימוש בממשק עולה כסף?
לא, הגישה לממשק דרך הדפדפן חופשית ואינה דורשת תשלום. המשאבים מוקצים על גבי חומרת ענן שיתופית.
כמה זמן לוקח לכל יצירה?
העיבוד עצמו רץ על מעבד גרפי מסוג A10G ולוקח שניות בודדות לכל תמונה. זמן ההמתנה הכולל תלוי בעומס המשתמשים באותו רגע.
האם אפשר להריץ את זה מקומית?
כן, הקוד פתוח תחת רישיון אפאצ׳י 2.0 ומשקולות המודל זמינות להורדה. תצטרכו מחשב עם מעבד גרפי תואם וידע בהרצת סביבות פייתון.
במה הממשק הזה שונה משימוש במודל ישירות בקוד?
הממשק מספק מעטפת גרפית פשוטה לבדיקה מהירה, אך הוא מגביל את האפשרויות לשדות שהוגדרו בו מראש. בקוד אפשר לשלוט בכל שלב בצינור העיבוד ולשלב מודלים נוספים.
איך מריצים
גוררים את התמונות לתיבת ההעלאה, כותבים תיאור עם מילת ההפעלה, ולוחצים על Submit. בהגדרות המתקדמות אפשר לשנות את מספר הצעדים, חוזק הסגנון, מספר התמונות שיווצרו והסיד. הריצה מתבצעת על מעבד גרפי מסוג zero-a10g, מה שאומר שהעיבוד עצמו לוקח בדרך כלל כמה שניות עד חצי דקה לתמונה, אבל אם יש עומס ברשת תיתקלו בתור. אין צורך בהתחברות כדי להתחיל לעבוד.
pip install -U huggingface_hub hf download TencentARC/PhotoMaker
הקבצים
4 קבצים במאגר, 891 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הפרויקט מפורסם תחת רישיון apache-2.0, שמתיר שימוש חופשי ושינוי של הקוד כולל שימוש מסחרי לפי תנאי הרישיון. התמונות שאתם מעלים מועברות לעיבוד בשרתי Hugging Face שבהם רץ הממשק.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים