Van-Gogh-diffusion

מה זה

מדובר במודל תמונה שנוצר בעזרת אימון דרימבות' על גבי בסיס של גרסה 1.5, כשהדאטה מבוסס כולו על צילומי מסך מתוך הסרט המצויר לאהוב את וינסנט. המטרה כאן ממוקדת מאוד, לקבל את משיכות המכחול, הטקסטורה והתאורה המזוהות עם ואן גוך ישירות מהטקסט.

כדי להפעיל את הסגנון בפועל חייבים לפתוח כל הנחיה במילת הקוד הייעודית, אחרת התוצאה תתרחק מהחזון של היוצר. אין פה טבלאות ביצועים או מדידות בנצ'מרק, אלא התאמה ויזואלית חזקה מאוד שלוקחת את המשקלים של מודל הבסיס ודוחפת אותם עמוק לתוך פלטת הצבעים הספציפית של הפרויקט הקולנועי ההוא.

בניגוד למודלים כלליים שדורשים תיאורים מפותלים של אמנות שמן, כאן הסגנון כבר צרוב עמוק במשקלים, כולל הנטייה הטבעית של הסרט לגוונים מסוימים.

מתאים ל

• איור דמויות בשמן

  יצירת פורטרטים עם משיכות מכחול עבות בסגנון הסרט, בהפעלה עם מילת הקוד.

• רינדור נופים אמנותיים

  הפקת נופי שקיעה וטבע עם צבעוניות דרמטית שקשה לסחוט ממודל בסיס רגיל.

• נכסים גרפיים למשחקים

  בניית קונספט ארט בסגנון פוסט אימפרסיוניסטי אחיד מתוך טקסט פשוט.

איפה זה נופל

האימון יצר הטיה כבדה לצבע כחול ונטייה מובהקת לצבוע פנים בצהוב. היוצר עצמו מודה בזה ומנחה להוסיף את המילים האלה ישירות לשלילה של הפרומפט כדי לאזן את התמונה. מעבר לזה, המודל מוגבל לרזולוציות הישנות של גרסה 1.5, כך שפנים מרחוק או פרטים עדינים ידרשו תיקונים ידניים או מודל הגדלה נפרד.

איך מריצים

אתם יכולים לטעון אותו ישירות דרך ספריית דיפיוזרס בפייתון עם פייפליין סטנדרטי של סטייבל דיפיוז'ן, או להוריד את קובץ הצ'קפוינט לתוך ממשק ווב. מבחינת משאבים, כרטיס מסך ביתי עם שמונה גיגה זיכרון יעשה את העבודה ברינדור של חצי דיוק.

היוצר מציין במפורש לעבוד עם דוגם אוילר רגיל ולא בגרסה האוטונומית שלו, להגדיר סולם של שש ולרוץ על עשרים וחמישה צעדים. אם אתם צריכים רק כמה תמונות בודדות ולא רוצים להוריד מעל שבעה גיגה של קבצים, שירותי ענן עם ממשק מוכן יחסכו לכם זמן.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("dallinmackay/Van-Gogh-diffusion")
img = pipe("a photo").images[0]

הקבצים

20 קבצים במאגר, 7.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.bin3.4 GB
• Van-Gogh-Style-lvngvncnt-v2.ckpt2.1 GB
• safety_checker/pytorch_model.bin1.2 GB
• text_encoder/pytorch_model.bin492.3 MB
• vae/diffusion_pytorch_model.bin334.7 MB
• preview2.jpg10.1 MB
• preview1.jpg9.7 MB
• tokenizer/vocab.json1.1 MB
• tokenizer/merges.txt524.6 KB
• safety_checker/config.json4.8 KB
• README.md3.1 KB
• .gitattributes1.7 KB
• tokenizer/tokenizer_config.json806 B
• unet/config.json743 B
• text_encoder/config.json612 B
• vae/config.json547 B
• model_index.json541 B
• tokenizer/special_tokens_map.json472 B
• feature_extractor/preprocessor_config.json342 B
• scheduler/scheduler_config.json284 B

הרישיון

הרישיון הוא קריאייטיב אם אל אופן רייל אם. מותר להשתמש בו למטרות מסחריות, לשלב במוצרים ולהפיץ את המשקלים, בתנאי שמצרפים את נוסח הרישיון המקורי ועומדים ברשימת המגבלות על יצירת תוכן מזיק או לא חוקי. הזכויות על התמונות שנוצרות שייכות לכם.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗