pattern-diffusion

מה זה

רוב מודלי התמונה מנסים לייצר עומק ותלת ממד, וכשמבקשים מהם דפוס שחוזר על עצמו מקבלים חיבורים שבורים בקצוות. כאן מדובר במודל שאומן מאפס על כמעט 6.8 מיליון דוגמאות שטוחות שמתחברות ברצף, על בסיס הארכיטקטורה של stable diffusion 2 base. הוא מתרכז כולו במשטחים דו ממדיים.

האימון נעשה בארבעה שלבים, מרזולוציה של 256 על 256 ועד 1024 על 1024, תוך עצירה כשהמדדים הפסיקו להשתפר בכל שלב. הוא מבין טוב צבעי רקע וחזית בטקסט שנותנים לו, ומצטיין בעיקר באיורים בוטניים וצורות מופשטות, גם כשמערבבים מושגים לא קשורים בפרומפט.

מתאים ל

• הדפסי טקסטיל ואופנה

  מייצר דוגמאות שטוחות ורציפות לחולצות, בדים וגלילים בלי שיראו את נקודות החיבור.

• עיצוב טפטים ומשטחים

  מתאים לטקסטורות לקירות ומוצרים שדורשים ריצוף של אותה תמונה שוב ושוב.

• איורים בוטניים מופשטים

  מצטיין בשילוב צבעים מוגדרים מראש וקונספטים של צמחים ופרחים ללא עומק מלאכותי.

איפה זה נופל

אל תנסו להוציא ממנו טקסט, כי הוא פשוט לא מסוגל לכתוב מילים קריאות. בנוסף, יש לו בעיה קשה עם יצורים חיים בגלל מגבלות המאגר, והוא מייצר חיות עם עודף גפיים או גופים משובטים בצורה מעוותת.

באופן מפתיע, דווקא צורות גיאומטריות פשוטות כמו לוח שחמט מבלבלות אותו ויוצאות עקומות ולא עקביות. אם המוצר שלכם צריך דפוסים מתמטיים מדויקים או דמויות, הוא כנראה יאכזב.

איך מריצים

המשקל הכולל יושב על 4 גיגה בייט עם 866 מיליון פרמטרים, כך שאפשר להריץ אותו בקלות מקומית דרך ספריית diffusers אפילו על כרטיס מסך ביתי צנוע עם מעט זיכרון. המהירות גבוהה בהרבה ממודלים כבדים כמו SDXL או FLUX.

כדי לקבל תוצאה בלי תפרים בכלל, אי אפשר סתם לזרוק פרומפט רגיל. המפתח מציע שילוב של ערבוב רעש מתחילת הריצה יחד עם ריפוד מעגלי בשכבות הקונבולוציה רק בשלבים המאוחרים של ההסקה. זה שומר על איכות התמונה ומונע פגיעה במדדי הדמיון והדיוק.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("Arrexel/pattern-diffusion")
img = pipe("a photo").images[0]

הקבצים

15 קבצים במאגר, 4.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.safetensors3.5 GB
• text_encoder/model.safetensors680.8 MB
• vae/diffusion_pytorch_model.safetensors167.3 MB
• examples.png6.6 MB
• tokenizer/vocab.json1.1 MB
• tokenizer/merges.txt524.6 KB
• README.md6.3 KB
• unet/config.json1.9 KB
• .gitattributes1.6 KB
• tokenizer/tokenizer_config.json856 B
• vae/config.json827 B
• text_encoder/config.json613 B
• model_index.json562 B
• scheduler/scheduler_config.json507 B
• tokenizer/special_tokens_map.json460 B

הרישיון

הוא משוחרר תחת רישיון apache 2.0. מותר להשתמש בו לצרכים מחקריים ומסחריים חופשי, בלי צורך במתן קרדיט. אפשר להטמיע אותו במוצרים מסחריים בלי כאבי ראש משפטיים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗