portraitplus

מה זה

מדובר במודל יצירת תמונה מטקסט שאומן בשיטת Dreambooth על בסיס סטייבל דיפיוז'ן 1.5, כשהמטרה שלו מוגדרת מאוד. היוצר אימן אותו על אוסף מגוון של תצלומי ראש וגוף עליון כדי לפתור את אחת הרעות החולות של מחוללי תמונות, שהיא עיוותים באישונים ופזילה. הדגש כאן הוא על קומפוזיציה יציבה של פנים ועיניים אמינות שמסתכלות לכיוון הנכון.

בגודל של כ־860 מיליון פרמטרים, הוא שומר על הזריזות של מודלי הבסיס הקלים אבל דורש הכוונה בסגנון כדי לתת תוצאה טובה. בניגוד למודלים כלליים שמתפזרים על נופים וחפצים, הוא מתוכנת לחתוך נכון את הפריים האנושי. כדי להפעיל את הכוונון שלו צריך להוסיף את מילות המפתח portrait+ style לפרומפט, עדיף בהתחלה, מה שמושך את התוצאה מיד לסגנון המבוקש במקום להסתבך עם עשרות מילות שלילה ארוכות.

מתאים ל

• תמונות פרופיל לאפליקציות

  יצירת דמויות גנריות ברורות עם מבט ישר ויציב שמתאימות בדיוק לגודל ריבועי.

• איורי קונספט לדמויות

  שליטה בסגנונות שונים של פנים על ידי שילוב מילת המפתח הייעודית בתיאור.

• בדיקות אוטומטיות לפנים

  הפקה מהירה של קומפוזיציות אנושיות עקביות בצינור פיתוח מקומי מבוסס diffusers.

איפה זה נופל

המודל מיועד כמעט אך ורק לפרופורציה ריבועית של 1:1, אם כי הוא מסתדר לפעמים עם יחס גובה-רוחב אנכי. אם תנסו לייצר דמויות פנטזיה מורכבות כמו סייברפאנק או קוסמים, תצטרכו לכתוב פרומפטים קשיחים ומפורטים מאוד כדי לקבל מראה פוטוריאליסטי, אחרת המודל מחליק לסגנון מצויר. בנוסף, שמות של מפורסמים מתנהגים אחרת לגמרי מדמויות גנריות כי הם מגיעים עם הטיה פוטוריאליסטית חזקה ממודל הבסיס, וצריך לקחת את זה בחשבון כשכותבים תיאור ארוך.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־14.2 גיגהבייט בגלל צורות שמירה שונות, כולל קובץ ckpt בודד וקבצי diffusers רגילים. כדי להריץ אותו מקומית בפייתון או בממשק Gradio תצטרכו כרטיס מסך עם לפחות 8 עד 12 גיגהבייט זיכרון גרפי, תלוי ברמת הדיוק ובהגדרות הזיכרון שתפעילו.

אם כל מה שאתם צריכים זה כמה עשרות תמונות בודדות לפרויקט קטן, אין שום סיבה לקנות חומרה ייעודית, עדיף להרים מופע זמני בענן או לפנות לשרת חיצוני שגובה לפי שניות שימוש.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("wavymulder/portraitplus")
img = pipe("a photo").images[0]

הקבצים

27 קבצים במאגר, 14.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.bin3.4 GB
• unet/diffusion_pytorch_model.safetensors3.4 GB
• portrait+1.0.ckpt2.1 GB
• portrait+1.0.safetensors2.1 GB
• safety_checker/pytorch_model.bin1.2 GB
• safety_checker/model.safetensors1.2 GB
• text_encoder/pytorch_model.bin492.3 MB
• text_encoder/model.safetensors492.3 MB
• vae/diffusion_pytorch_model.bin334.7 MB
• vae/diffusion_pytorch_model.safetensors334.6 MB
• tokenizer/vocab.json1.1 MB
• imgs/batchgrid.jpg1.0 MB
• imgs/page1.jpg926.3 KB
• imgs/page2.jpg919.3 KB
• tokenizer/merges.txt524.6 KB
• safety_checker/config.json4.9 KB
• parameters_for_samples.txt4.7 KB
• README.md2.2 KB
• .gitattributes1.5 KB
• unet/config.json906 B
• tokenizer/tokenizer_config.json806 B
• text_encoder/config.json617 B
• model_index.json582 B
• vae/config.json582 B
• feature_extractor/preprocessor_config.json520 B
• tokenizer/special_tokens_map.json472 B
• scheduler/scheduler_config.json346 B

הרישיון

הרישיון הוא CreativeML OpenRAIL-M. מותר להשתמש בו לצרכים מסחריים ולהפיץ תוצרים, בתנאי שלא מפרים את הגבלות השימוש המוסריות שמופיעות בנוסח המקורי, כמו יצירת תוכן פוגעני או זיוף פנים של אנשים ללא הסכמתם. למוצר מסחרי זה בדרך כלל מספיק, אך חובה לצרף את תנאי הרישיון.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗