GPT
הוספת כלי
T

t2i-adapter-lineart-sdxl-1.0

קוד פתוח

TencentARCapache-2.02023-09-03

  • diffusers
  • safetensors
  • art
  • t2i-adapter
  • image-to-image

תוספת של 79 מיליון פרמטרים שמכוונת יצירת תמונות בבסיס SDXL לפי קווי מתאר. פתרון קל משקל למי שרוצה שליטה בקומפוזיציה בלי להעמיס רשת מלאה.

  • 79Mפרמטרים
  • 452 MBמשקל הקבצים
  • 2,193הורדות בחודש
  • 80לייקים

מה זה

מדובר במתאם קטן שמתחבר ישירות למודל הבסיס של SDXL ומוסיף לו התניית קווי מתאר. הרעיון כאן הוא דיוק מבני, אתם מזינים ציור קווי שחור לבן יחד עם פרומפט טקסטואלי, והוא מוודא שהתוצאה הסופית תשמור על הגבולות והצורות המקוריות.

במקום לשכפל חלקים כבדים מהרשת הראשית כמו בפתרונות בקרה אחרים, המתאם הזה מוסיף רק כ־79 מיליון פרמטרים על גבי 2.6 מיליארד הפרמטרים של SDXL. הוא אומן על 3 מיליון זוגות תמונה וטקסט מתוך LAION-Aesthetics V2 בדיוק של fp16, מה שנותן שליטה טובה בקווי ציור בלי להכפיל את דרישות החישוב של המודל המרכזי.

מתאים ל

  • צביעת איורים ידניים

    הפיכת סקיצות עיפרון או דיו לתמונות פוטוריאליסטיות לפי תיאור טקסט בלי לאבד את צורת האובייקט.

  • המחשת קונספט לעיצוב מוצר

    שמירה על גבולות מדויקים של שרטוט מוצר תוך בדיקת חומרים, צבעים וטקסטורות שונות ברנדר סופי.

  • עקביות בארטבורד

    יצירת גרסאות שונות של אותה סצנה תוך היצמדות קפדנית לקומפוזיציה שהוגדרה בקווי המתאר.

איפה זה נופל

המתאם מוגבל לחלוטין לקווי מתאר ולא מבין עומק תלת מימדי או תנוחות גוף מורכבות, ועבור אלה קיימים צ׳קפוינטים נפרדים לגמרי. בנוסף, הוא תלוי באיכות הזיהוי של גלאי הקווים המקדים, ואם הקלט עמוס בפרטים קטנים או מקושקש מדי, התוצאה עלולה להתעוות. חייבים גם לכוונן ידנית את עוצמת ההשפעה כדי שהקווים לא ינעלו את היצירה בצורה נוקשה מדי.

שאלות
נפוצות

האם אפשר להריץ את המתאם הזה בפני עצמו כדי לייצר תמונות?

לא. זהו מתאם בלבד שמכיל 79 מיליון פרמטרים ותפקידו להנחות רשת קיימת. הוא חייב לרוץ יחד עם מודל הבסיס SDXL שתופס את עיקר נפח החישוב והזיכרון.

מה ההבדל בינו לבין מתאם Canny או Sketch מאותה סדרה?

ההבדל נעוץ בסוג קווי המתאר שעליהם הרשת אומנה. גרסת lineart מיועדת ספציפית לציורים עם קווים ברורים ונקיים, בעוד שמתאמים אחרים מתאימים יותר לזיהוי קצוות חדים בתמונות מצולמות או שרבוטים חופשיים.

איך מריצים

אתם מריצים אותו דרך ספריית diffusers עם הצינור הייעודי של SDXL Adapter, יחד עם חבילת controlnet_aux לצורך חילוץ קווי המתאר מהתמונה המקורית. בקוד טוענים את התמונה, מעבירים אותה דרך גלאי קווים ברזולוציה מתאימה, ושולחים את התוצאה למודל יחד עם הפרומפט והמשקל הרצוי למתאם.

המתאם עצמו שוקל רק 452 מגה בייט, אבל הוא לא רץ לבד. מכיוון שהוא מתלבש על SDXL, אתם עדיין צריכים כרטיס מסך שיכול להחזיק מודל של 2.6 מיליארד פרמטרים בזיכרון, כך שדרוש מעבד גרפי ייעודי עם מספיק VRAM כדי לבצע הסקה בלי לקרוס.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("TencentARC/t2i-adapter-lineart-sdxl-1.0")
img = pipe("a photo").images[0]

הקבצים

5 קבצים במאגר, 452 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה של המודל בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗