openjourney-v4

מה זה

מדובר באימון המשך על בסיס סטייבל דיפיוז'ן 1.5, שנעשה בעזרת מאגר של מעל 124 אלף תמונות שנוצרו בגרסה הרביעית של מידג'רני. המפתחים רצו לשחזר את הטאץ' האמנותי והתאורה האופיינית של הכלי ההוא, אבל בתוך מודל פתוח שאפשר להתקין ולהריץ מקומית.

תהליך האימון לקח מעל 32 שעות, וכלל 12,400 צעדים על פני ארבע תקופות אימון. להבדיל מגרסאות מוקדמות של הפרויקט, כאן כבר אין צורך להוסיף פרומפט מיוחד כמו מילת הקוד שהייתה חובה קודם כדי להפעיל את הסגנון, והתוצאות מקבלות את האופי הרצוי ישירות מהתיאור החופשי שתכתבו.

מתאים ל

• איורי קונספט למשחקים

  הסגנון הוויזואלי האמנותי של מידג'רני מתאים לייצור מהיר של דמויות, נופים ורעיונות גרפיים.

• עטיפות ותמונות אווירה

  התאורה הדרמטית והצבעוניות העשירה מעניקות מראה מלוטש לפוסטים, מאמרים או רקעים.

• הרצה מקומית ללא עלות

  מאפשר לעבוד אופליין ובחינם בלי תלות במנויים חודשיים לפלטפורמות סגורות.

איפה זה נופל

הבסיס הוא סטייבל דיפיוז'ן 1.5 הוותיק מסוף שנת 2022, ולכן הוא סוחב איתו את כל הבעיות המוכרות של הדור ההוא. הוא מתקשה ברינדור של טקסט בתוך תמונה, נוטה לייצר אנטומיה מעוותת של ידיים ואצבעות, ומתקשה להבין סצנות מורכבות עם המון פרטים נפרדים.

בנוסף, המודל אומן בצורה אגרסיבית על תמונות שנוצרו במערכת אחרת, מה שגורם לו לפעמים לכפות סגנון ציורי מודגש גם כשמבקשים ממנו משהו ריאליסטי או נקי. לפני שמשלבים אותו במוצר, צריך לבדוק היטב אם הסגנון שלו בכלל מתאים למיתוג שלכם.

אותה משפחה

openjourney יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המודל רץ בעזרת ספריית diffusers הסטנדרטית בפייתון, כך שהשילוב בקוד קיים דורש מעט מאוד עבודה. עם כמעט 860 מיליון פרמטרים, כרטיס מסך ביתי עם 8 עד 12 גיגה זיכרון יספיק כדי לקבל תמונות תוך שניות בודדות.

אם אין לכם כרטיס מסך מתאים במחשב או בשרת, להוריד 12.2 גיגה של קבצים ולהחזיק מכונה ייעודית בענן יעלה כסף מיותר. במצב כזה, פנייה לפתרון שמגיש את המודל דרך ממשק רשת מרוחק תהיה פשוטה וזולה יותר להרצה מזדמנת.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("prompthero/openjourney-v4")
img = pipe("a photo").images[0]

הקבצים

22 קבצים במאגר, 12.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.bin3.4 GB
• unet/diffusion_pytorch_model.safetensors3.4 GB
• openjourney-v4.ckpt2.1 GB
• safety_checker/pytorch_model.bin1.2 GB
• safety_checker/model.safetensors1.2 GB
• text_encoder/pytorch_model.bin492.3 MB
• text_encoder/model.safetensors492.3 MB
• vae/diffusion_pytorch_model.bin334.7 MB
• vae/diffusion_pytorch_model.safetensors334.6 MB
• tokenizer/vocab.json1.1 MB
• tokenizer/merges.txt524.6 KB
• safety_checker/config.json4.5 KB
• unet/config.json1.2 KB
• README.md981 B
• tokenizer/tokenizer_config.json755 B
• .gitattributes618 B
• vae/config.json610 B
• text_encoder/config.json602 B
• model_index.json582 B
• feature_extractor/preprocessor_config.json520 B
• tokenizer/special_tokens_map.json472 B
• scheduler/scheduler_config.json465 B

הרישיון

הרישיון הוא creativeml-openrail-m, שמאפשר שימוש מסחרי חופשי כמעט לגמרי, אך כולל נספח של הגבלות שימוש אסורות כמו יצירת תוכן פוגעני, זיוף פנים או ייצור מידע מטעה. מי שמשלב את המודל במוצר מסחרי חייב לוודא שהאפליקציה שלו עומדת בתנאים האלה ושמגבלות הרישיון מועברות למשתמשי הקצה.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗