GPT
הוספת כלי
C

controlnet-canny-sdxl-1.0

קוד פתוח

xinsirapache-2.02024-05-10

  • diffusers
  • safetensors
  • text_to_image
  • controlnet
  • controlnet-canny-sdxl-1.0

המודל מביא דיוק קווי מעולה ליצירת תמונות ברזולוציה גבוהה. הוא נותן פתרון חזק למי שרוצה לשלוט בתוצאות של מודל הבסיס באמצעות קווי מתאר חדים.

  • 1.3Bפרמטרים
  • 4.7 GBמשקל הקבצים
  • 23,815הורדות בחודש
  • 205לייקים

מה זה

מדובר במתאם מסוג קונטרול-נט שמיועד לעבוד יחד עם מודל הבסיס של אס-די-איקס-אל ברזולוציה של 1024 על 1024 פיקסלים. התפקיד שלו הוא לקחת מפת קווים שנוצרה מאלגוריתם קאני, ולהכריח את התמונה שנוצרת להישמע לגבולות המדויקים האלה, תוך שמירה על הסגנון והטקסט שכתבתם.

הוא אומן על מאגר ענק של מעל עשרה מיליון תמונות עם תיוג ייעודי. במבחנים מול חלופות קיימות כמו המודל של דיפיוזרס ומיסטוליין, הוא הציג ציון אסתטיקה של 6.03 וציון דמיון תפיסתי נמוך יותר של 0.42. במספרים האלה, ציון דמיון נמוך יותר מעיד על הצמדות טובה בהרבה לקווים המקוריים, והציון האסתטי הגבוה משקף תמונות שנראות פחות שבורות ויותר קרובות לתוצרים של מידג'רני.

מתאים ל

  • שחזור סקיצות של מוצרים

    הפיכת שרטוטי קווי מתאר להדמיות פוטוריאליסטיות מדויקות בלי לאבד את צורת האובייקט.

  • שמירה על קומפוזיציה בצילום

    שליטה מלאה במיקום ובגבולות של דמויות ואובייקטים לפי תמונת רפרנס קיימת.

  • יצירת גרסאות אנימה מאיורים

    התאמת ציורים קיימים לסגנון מצויר על ידי חיבור המודל למודל בסיס תואם.

איפה זה נופל

למרות האימון המאסיבי, היוצר מציין שהביצועים מול סגנון אנימה או ציורים מצוירים הם רק סבירים ודורשים החלפה של מודל הבסיס לאחר כמו קאונטרפיט. בנוסף, המודל רגיש מאוד לאיכות הפרומפטים שאתם כותבים, וכדי לקבל תוצאות אסתטיות חייבים להשקיע בתיאור מדויק. הוא כן מנסה לצמצם עיוותים אנטומיים באנשים, אבל זה עדיין קורה ולא נפתר לחלוטין.

שאלות
נפוצות

האם אפשר להריץ את המודל הזה לבד בלי מודל נוסף?

לא. זהו מודל שליטה שמתלבש על מודל בסיס, ולכן אתם חייבים לטעון לצידו את המודל הרגיל של אס-די-איקס-אל או גרסה מותאמת שלו.

מה היתרון שלו מול מודלי קאני פתוחים אחרים?

הוא אומן על מאגר נתונים רחב במיוחד עם אוגמנטציות שהכריחו אותו להבין את הקשר בין השורות לטקסט. במבחני השוואה הוא קיבל ציוני אסתטיקה גבוהים יותר ודיוק טוב יותר בקווי המתאר.

איך מריצים

כדי להריץ אותו צריך לטעון אותו בעזרת ספריית דיפיוזרס לצד מודל הבסיס של אס-די-איקס-אל. הקבצים עצמם שוקלים 4.7 גיגה-בייט, אבל אל תשכחו שזה רק המשקל של שכבת השליטה, כך שחייבים כרטיס מסך עם זיכרון גרפי נדיב כדי להחזיק את שני המודלים יחד בזיכרון בזמן רינדור.

אם אין לכם כרטיס גרפי מתאים להרצה של מודלי ענק כאלה ברזולוציה גבוהה, עדיף להשתמש בשרת ענן ייעודי לפי שעה או שירותי הרצה חיצוניים, אחרת תקבלו שגיאות זיכרון מיד בצעד הראשון.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("xinsir/controlnet-canny-sdxl-1.0")
img = pipe("a photo").images[0]

הקבצים

17 קבצים במאגר, 4.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל שוחרר תחת רישיון אפאצ'י 2.0. זהו רישיון פתוח ומתירני שמאפשר שימוש מסחרי חופשי, שינוי של הקוד והמשקלים ושילוב שלהם במוצרים שלכם, כל עוד אתם שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗