GPT
הוספת כלי
M

MistoLine

קוד פתוח

TheMistoAIopenrail++2024-05-07

  • diffusers
  • art
  • stable diffusion
  • ControlNet
  • SDXL

זה מודל קונטרול-נט מבוסס SDXL שיודע לעבוד עם כל סוג של קווי מתאר, מסקיצה ידנית ועד מפות קווים מעובדות, בלי שתצטרכו להחליף מודל ייעודי לכל מעבד קו.

  • 5.4 GBמשקל הקבצים
  • 6,771הורדות בחודש
  • 464לייקים

מה זה

המודל הזה אומן מחדש על גבי רשת היו-נט של סטייבל דיפיוז'ן אקס-אל בייס 1.0 כדי לפתור את הסרבול בעבודה עם קונטרול-נט לקווי מתאר. במקום להחזיק מודל נפרד לקווי קאני, מודל אחר לסקיצות רכות ומודל נוסף לקווי מודלים תלת-ממדיים, הוא תוכנן לעבד קלטים מכל מעבדי הקו המקובלים, כולל אלגוריתם בשם אני-ליין שפותח לצידו.

הוא מפיק תמונות שבהן הצד הקצר עולה על 1024 פיקסלים, תוך שמירה על יציבות ושחזור פרטים גבוהים גם בתרחישים מורכבים. הארכיטקטורה שלו נשענת על המבנה המקורי של קונטרול-נט, ועובדת בשילוב עם מודלים נוספים של קונטרול-נט או מאיצים כמו LCM, כל עוד מודל הבסיס שייך למשפחת SDXL.

מתאים ל

  • רינדור סקיצות ידניות

    הופך שרבוט ידני פשוט לתמונה גמורה ברזולוציה של מעל 1024 פיקסלים.

  • עבודה עם מעבדי קו שונים

    משמש כמודל אחיד שמקבל פלטים מקאני, אני-ליין ומעבדים אחרים בלי החלפות.

  • המחשת הדמיות תלת-ממד

    מלביש טקסטורות ותאורה על קווי מתאר שהופקו ישירות ממודלים ממוחשבים.

איפה זה נופל

הוא לא תואם לכל מודל שתלוי ב־SDXL. הוא נכשל או מוגבל במפורש מול PlaygroundV2.5 ו־CosXL, וקיים סימן שאלה שהמפתחים עצמם מציינים לגבי תאימות ל־SDXL-Lightning. מעבר לזה, הפלט אינו מצונזר, כך שאין שום מנגנון בטיחות מובנה למניעת תוכן בעייתי.

שאלות
נפוצות

באיזו גרסת קובץ כדאי להשתמש עבור קומפי-יו-איי?

היוצרים ממליצים ישירות על קובץ mistoLine_rank256 ומציינים שהוא עובד טוב יותר מגרסת mistoLine_fp16. שני הקבצים נתמכים הן בקומפי והן באוטומטיק 1111.

האם המודל יעבוד לי על גרסת SDXL-Lightning בשביל רינדור מהיר?

התאימות לגרסה הזו לא מובטחת, והמפתחים מציינים בספק שהיא אולי לא נתמכת לצד חוסר תאימות מוחלט לפלייגראונד ולקוס-אקס-אל. בשביל מהירות מומלץ להשתמש ב־LCM שנתמך רשמית.

איך מריצים

המשקל הכולל של הקבצים עומד על 5.4 גיגה-בייט בספריית דיפיוזרס, ומאחר שמדובר בהרחבה ל־SDXL שרצה ברזולוציה של 1024 פיקסלים ומעלה, תצטרכו כרטיס מסך עם זיכרון וידאו בריא של 12 עד 16 גיגה לפחות כדי להימנע מנפילות זיכרון.

ליוצרים יש שתי גרסאות משקלים עיקריות, גרסת נקודה צפה 16 וגרסת ראנק 256, כאשר המפתחים מציינים במפורש שגרסת הראנק מציגה תוצאות עדיפות. ההרצה המקומית נתמכת גם בממשקי ווב-יו-איי וקומפי-יו-איי, אבל אם אין לכם חומרה ייעודית לתמונות כבדות, עדיף להריץ את זה על שרת ענן.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("TheMistoAI/MistoLine")
img = pipe("a photo").images[0]

הקבצים

18 קבצים במאגר, 5.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא אופן-רייל פלוס פלוס, המאפשר שימוש מסחרי בכפוף למגבלות שימוש טיפוסיות לרייל כמו איסור ייעוץ רפואי ופגיעה באחרים. עם זאת, היוצרים דורשים ייחוס מפורש ומובלט ל־TheMisto.ai בתיעוד, באתר או במסכי המוצר, ואוסרים לרמוז שהם מקדמים את המוצר שלכם.

  • שימוש מסחרי
  • שינוי הקוד
  • מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗