GPT
הוספת כלי
S

sdxl-wrong-lora

קוד פתוח

minimaxirmit2023-08-14

  • diffusers
  • stable-diffusion
  • stable-diffusion-diffusers
  • text-to-image
  • lora

תוספת קטנה של 23 מגה־בייט ל־SDXL שמשפרת חדות, רוויה וידיים. טוענים אותה, כותבים wrong בשלילה, והתמונה יוצאת נקייה יותר בלי להסתבך עם הנחיות ארוכות.

  • 22.9 MBמשקל הקבצים
  • 109הורדות בחודש
  • 120לייקים

מה זה

במקום לכתוב מגילות של מילים שליליות כדי להיפטר מעיוותים, המשקולת הזו מרכזת פלט לא רצוי לתוך מושג אחד. היא אומנה על תמונות גרועות שנוצרו ישירות ב־SDXL עם דגש על מאפיינים פגומים, וכשמזינים wrong בהנחיה השלילית, תהליך הדיפוזיה פשוט מתרחק מהאזור הבעייתי הזה במרחב הסמוי.

התוצאה היא פחות ארטיפקטים, דיוק טוב יותר במבנה של אצבעות, חדות גבוהה יותר בעצמי אקראיים ברקע וצבעים הרבה יותר עזים ברזולוציה של 1024 על 1024. היוצר עצמו מציין שהתוצאה לא בהכרח טובה יותר באופן אובייקטיבי לכל תרחיש, בעיקר כי תוספת הרוויה והניגודיות לא תמיד מתאימה למה שמחפשים, אבל היא עוזרת להיצמד להנחיה המקורית במיוחד כשמשתמשים במשקולות תחביריות.

מתאים ל

  • שיפור מבנה כפות ידיים

    צמצום עיוותים אנטומיים באצבעות ביצירת דמויות, תחום שבו מודל הבסיס נוטה לייצר טעויות בלי עזרה.

  • הפקת תמונות רוויות וחדות

    יצירת צילומים חדים עם צבעים מודגשים וטקסטורות מפורטות ברזולוציית 1024 על 1024.

  • ניקוי פרומפטים שליליים

    החלפת רשימות מילים שליליות ארוכות במילה בודדת שמכוונת את התהליך הרחק מארטיפקטים.

איפה זה נופל

הקובץ נבנה בעיקר לספריית diffusers, ולכן בממשקים אחרים הוא עלול להתנהג אחרת או לתת תוצאות פחות טובות. הוא גם נוטה לדחוף את הצבעים לרוויה גבוהה מאוד, מה שיכול להיראות מלאכותי אם מכוונים למראה עדין או דהוי. בנוסף, מי שקיווה להשתמש במחרוזת not wrong בהנחיה החיובית יגלה שאין לזה כמעט השפעה, והיוצר מודה שדרושות עוד בדיקות כדי לקבוע עד כמה המנגנון הזה יעיל לעומת שיטות אחרות.

שאלות
נפוצות

אפשר להשתמש במילים שליליות נוספות יחד עם ההנחיה הזו?

כן. אפשר להוסיף מילים נוספות לצד המילה wrong בהנחיה השלילית, אבל לפי ההנחיות כדאי לאזן ולשקול את המשקל שלהן כדי שלא יבטלו זו את זו.

האם המודל יפעל בצורה זהה בממשק כמו Automatic1111?

לא בטוח. הקובץ אמנם זמין במבנה safetensors, אך הוא אומן ונבדק במקור על diffusers, והמפתח מצהיר מפורשות שאינו יכול להבטיח את אותה רמת יעילות בסביבות אחרות.

איך מריצים

טוענים את המשקולות ישירות לתוך פייפליין סטנדרטי של diffusers לצד SDXL 1.0 Base ותיקון ה־VAE ב־fp16, ואז מריצים על כרטיס מסך מתאים עם CUDA. הקובץ שוקל רק 22.9 מגה־בייט, כך שהוא כמעט לא מוסיף זיכרון מעבר למה ש־SDXL דורש בעצמו.

יש גם קובץ safetensors לממשקים כמו Automatic1111, אבל הפיתוח נעשה ב־diffusers ואין התחייבות שיעבוד שם באותה יעילות. למי שאין מחשב ייעודי עם מעבד גרפי חזק, היוצר שיתף מחברות Colab פתוחות שמאפשרות לבדוק את התוצאות מול המודל הנקי בלי להרים סביבה מקומית.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("minimaxir/sdxl-wrong-lora")
img = pipe("a photo").images[0]

הקבצים

10 קבצים במאגר, 22.9 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון MIT חופשי לחלוטין. אפשר לקחת את הקובץ, להטמיע אותו בתוך שירות מסחרי, לשנות אותו ולהפיץ הלאה ללא תשלום תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית בתוך הקוד.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗