GPT
הוספת כלי
T

texture-diffusion

קוד פתוח

dream-texturesopenrail++2022-12-25

  • diffusers
  • text-to-image
  • stable-diffusion
  • endpoints_compatible

המודל הזה מייצר טקסטורות שטוחות וכמעט נטולות הצללה או תאורה מובנית. הוא נועד למי שרוצה חומרים נקיים למידול תלת-ממדי בלי להילחם בהרגלי הרינדור הרגילים של מודלי תמונה.

  • 4.8 GBמשקל הקבצים
  • 90הורדות בחודש
  • 138לייקים

מה זה

מדובר באימון DreamBooth שמבוסס על Stable Diffusion 2 Base ברזולוציה של 512 פיקסלים. היוצרים לקחו 278 טקסטורות ברישיון חופשי ממאגר PolyHaven ואימנו עליהן במשך 4000 צעדים כדי ללמד אותו לייצר מפות צבע בסיסיות, מה שנקרא בעולם התלת-ממד diffuse textures.

ההבדל העיקרי מול מודלים רגילים הוא הניקיון מתאורה. במקום תמונה של קיר לבנים עם שמש מהצד, הוא מנסה לתת משטח שטוח שאפשר לזרוק ישר לתוך מנוע רינדור. כדי להפעיל את הסגנון הזה חייבים להוסיף את המילה pbr לפרומפט, אחרת מקבלים את ההתנהגות הרגילה של מודל הבסיס.

מתאים ל

  • חומרי בסיס לבלנדר

    הוא נבנה ישירות לתוסף Dream Textures ומספק תמונות שטוחות בלי צללים שמפריעים לתאורת הסצנה.

  • טקסטורות למשחקים

    מתאים ליצירת שכבות צבע מהירות לקירות, קרקע ומשטחים טבעיים בגודל קל של 512 פיקסלים.

  • פיתוח מקומי קל

    רץ מצוין על כרטיסי מסך בסיסיים בלי צורך בתשתיות כבדות או בתשלום על שרתי ענן יקרים.

איפה זה נופל

המודל אומן על 278 טקסטורות בלבד, שזה מאגר קטן מאוד. בגלל זה המגוון שלו מוגבל בעיקר לחומרים קלאסיים כמו אבנים, עפר או שיש שנמצאים בחבילות הבסיס של PolyHaven, ואל תצפו שהוא ימציא משטחים מורכבים שלא ראה.

בנוסף, הוא מייצר רק את שכבת הצבע ברזולוציה של 512 על 512. הוא לא מפיק מפות עומק, בליטות או חספוס, והרזולוציה הזו נמוכה למדי לסטנדרטים של היום, כך שתצטרכו להגדיל אותה בכלים אחרים.

שאלות
נפוצות

האם המודל מייצר חומרי PBR מלאים עם כל המפות?

לא. למרות השימוש במילת ההפעלה pbr, המודל מייצר רק תמונת צבע בסיסית ושטוחה. מפות חספוס, עומק ומתכתיות תצטרכו להפיק בנפרד בעזרת כלים אחרים.

איך גורמים לו לייצר את הסגנון השטוח ולא תמונה רגילה?

חייבים לכלול את המילה pbr בתוך הפרומפט ששולחים למודל. בלי המילה הזו, הוא יתנהג כמו מודל סטייבל דיפיוז'ן רגיל ויכניס תאורה וצללים לתמונה.

איך מריצים

טוענים אותו ישירות דרך diffusers עם פייפליין רגיל של Stable Diffusion ב־fp16. הקבצים שוקלים 4.8 גיגה-בייט, והאימון עצמו רץ במקור על כרטיס Tesla T4 פשוט, כך שכל כרטיס מסך ביתי סביר עם 6 עד 8 גיגה זיכרון יריץ אותו מקומית בלי מאמץ.

הוא נבנה במקור כתוסף לתוכנת בלנדר בשם Dream Textures, אבל אפשר להריץ אותו בכל סקריפט פייתון. אין לו שירות ענן ייעודי מוכן, ומאחר שהוא קל משקל ופועל על חומרה זולה, אין סיבה אמיתית לחפש API חיצוני במקום להרים אותו לבד.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("dream-textures/texture-diffusion")
img = pipe("a photo").images[0]

הקבצים

22 קבצים במאגר, 4.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא openrail++, שמתיר שימוש מסחרי חופשי ויצירת תוכן נגזר, אבל מטיל מגבלות שימוש שנועדו למנוע תוכן פוגעני או יצירת נזק. אם אתם משלבים אותו במוצר מסחרי, אתם חייבים להעביר את תנאי הרישיון הלאה למשתמשי הקצה שלכם.

  • שימוש מסחרי
  • שינוי הקוד
  • מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗