Future-Diffusion

מה זה

מדובר בכוונון עדין של גרסת הבסיס של סטייבל דיפיוז'ן 2.0 ברזולוציה של 512 על 512, שנעשה בשיטת דרימבות' על גבי ספריית דיפיוזרס במשך 7,000 צעדים. היוצר כיוון אותו ספציפית להפקת תמונות תלת ממד באיכות גבוהה עם מראה מדע בדיוני, החל מדמויות ורכבים ועד נופים אורבניים עתידניים.

כדי להפעיל את הסגנון הייחודי שלו צריך להוסיף את מילות המפתח future style להנחיה שלכם. במקום להיאבק עם שרשור ארוך של מונחי תלת ממד ותאורה בהנחיה הרגילה, המודל פשוט מושך לכיוון האסתטי הזה באופן מובנה.

מתאים ל

• עיצוב קונספט למשחקי מד"ב

  מייצר דמויות וכלי רכב בסגנון תלת ממד עתידני ישירות מהנחיה קצרה בלי צורך בפוסט פרודקשן.

• יצירת רקעים עתידניים

  מאפשר הפקת נופים אורבניים מורכבים ברזולוציות רחבות עם תאורת לילה ואווירת מדע בדיוני.

• בדיקת רעיונות ויזואליים

  מתאים לשלבי מחקר מוקדמים של ארט לתלת ממד כשמחפשים כיוון סגנוני מוגדר מראש.

איפה זה נופל

היוצר עצמו מבהיר שמדובר באב טיפוס ראשוני וניסיוני, שנבנה יממה בלבד לאחר שסטייבל דיפיוז'ן 2 שוחרר. אין כאן מודל בשל לייצור תעשייתי. בנוסף, הוא מוגבל לשפה האנגלית בלבד, ואם תנסו לחלץ ממנו סגנונות ריאליסטיים רגילים בלי המאפיינים העתידניים, סביר להניח שתיתקלו בהתנגשות עם אילוף הדרימבות' שעבר.

איך מריצים

המשקל הכולל של הקבצים עומד על 7.2 גיגה בייט, והוא נשען על ספריית diffusers. כדי להריץ אותו מקומית תצטרכו כרטיס מסך עם לפחות 8 עד 12 גיגה בייט של זיכרון גרפי, במיוחד אם תרצו לייצר תמונות ברזולוציות של 1024 על 576 כפי שמוצג בהגדרות הנוף של היוצר.

היוצר ממליץ על הדוגם Euler a, כעשרים צעדים, ומשקל הנחיה של 7. אם אין לכם חומרה ייעודית זמינה, החזקת מודל בגודל כזה על שרת ענן עצמאי תעלה כסף על זמן סרק, כך שפתרון של שרת שמחייב לפי שימוש או הרצה נקודתית יהיה הגיוני יותר.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("nitrosocke/Future-Diffusion")
img = pipe("a photo").images[0]

הקבצים

20 קבצים במאגר, 7.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.bin3.5 GB
• future-diffusion-v1.ckpt2.6 GB
• text_encoder/pytorch_model.bin1.4 GB
• vae/diffusion_pytorch_model.bin334.7 MB
• images/future-diffusion-samples03s.png2.9 MB
• images/future-diffusion-samples01s.png2.7 MB
• images/future-diffusion-samples02s.png2.3 MB
• tokenizer/vocab.json1.1 MB
• tokenizer/merges.txt524.6 KB
• images/future-diffusion-thumbnail-2.jpg90.8 KB
• README.md2.3 KB
• future-diffusion-v1.yaml1.8 KB
• .gitattributes1.7 KB
• unet/config.json968 B
• tokenizer/tokenizer_config.json852 B
• text_encoder/config.json642 B
• vae/config.json629 B
• model_index.json515 B
• tokenizer/special_tokens_map.json460 B
• scheduler/scheduler_config.json319 B

הרישיון

המודל משתמש ברישיון CreativeML Open RAIL פלוס פלוס M. הוא פתוח לשימוש חופשי וכולל שימוש מסחרי, אבל מחייב אתכם לעמוד בהגבלות שימוש אתיות של stabilityai, כמו איסור על הפקת תכנים פוגעניים או שימושים מזיקים.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗