sdxl-control-loras
רץ בדפדפןfffiloniרישיון לא דווח2023-09-20
היישום מייצר תמונות באמצעות שילוב בין מודל SDXL לבין בקרת ControlNet ומשקולות LoRA. הוא מיועד למי שרוצה לשלוט במבנה התמונה בעזרת קווי מתאר חיצוניים.
- —הורדות בחודש
- 91לייקים
מה זה
אתם מעלים תמונת מקור שממנה המערכת מפיקה קווי מתאר, כותבים תיאור טקסטואלי ומקבלים תמונה חדשה ששומרת על הקומפוזיציה המקורית. אפשר להגדיר פרומפט שלילי, לשנות את עוצמת ההשפעה של הבקרה, לקבוע את כמות צעדי הריצה בין 25 ל־50, ולכוון את מידת ההיצמדות לטקסט.
מתחת לממשק רץ המודל הבסיסי Stable Diffusion XL יחד עם תיקון VAE של madebyollin כדי למנוע שגיאות דיוק מספרי. השליטה במבנה מבוססת על ControlNet Canny או MistoLine לזיהוי קווים, ויש אפשרות מובנית לטעון משקולות LoRA מותאמות אישית ישירות מתוך Hugging Face, כולל הגדרת משקל ההשפעה של המודל הנוסף על התוצאה הסופית.
מתאים ל
- יצירה לפי קווי מתאר
שמירה על מבנה של תמונה קיימת ויצירת סגנון ויזואלי חדש בעזרת canny.
- בדיקת דגמי LoRA ל־SDXL
טעינת משקולות חיצוניות ממאגרים ציבוריים ובחינת ההשפעה שלהן על הפלט.
- שליטה ידנית בהפקה
כיוונון עדין של פרמטרים כמו סולם הנחיה, צעדי דגימה ועוצמת מודל הבקרה.
איפה זה נופל
הבעיה המיידית היא סטטוס RUNTIME_ERROR, מה שאומר שההדגמה קרסה ולא מייצרת תמונות כרגע. מעבר לכך, למרות שבתפריט מופיעות אפשרויות שונות לקדם-מעבדים, ההערה בקוד מבהירה שרק מנגנון canny פעיל בפועל. אם תנסו לחבר מודל LoRA פרטי מחשבון אישי, תיתקלו בדרישה לשכפל את כל סביבת העבודה לחשבון שלכם ולהזין טוקן גישה עצמאי.
שאלות
נפוצות
האם השימוש בחינם?
הגישה לעמוד פתוחה ללא תשלום, ואין צורך בהזנת כרטיס אשראי. עם זאת, אם תרצו להריץ מודלים פרטיים, תצטרכו לשכפל את הפרויקט לחשבון שלכם ולשאת בעלויות החומרה.
האם היישום עובד כרגע?
לא. סטטוס היישום מוגדר כשגיאת ריצה, ולכן אי אפשר לייצר בו תמונות ישירות בדפדפן כרגע. כדי להשתמש בו יש צורך לפתור את השגיאה בסביבה משוכפלת.
במה זה שונה משימוש ישיר במודל SDXL?
היישום מוסיף שכבת בקרה של קווי מתאר ומאפשר להזריק משקולות LoRA מותאמות אישית לתוך הצינור. בשימוש ישיר במודל הבסיס מקבלים רק הפקה חופשית מטקסט ללא שמירה על גבולות התמונה.
האם אפשר להריץ את זה מקומית?
כן, הקוד מבוסס על ספריות סטנדרטיות של diffusers ו־gradio וניתן להורדה. תצטרכו מחשב עם מאיץ גרפי חזק וזיכרון מתאים כדי להריץ את שילוב הדגמים הזה.
איך משתמשים
טוענים תמונה לחלון ההעלאה, מזינים פרומפט ולוחצים על Submit. אם רוצים להשתמש במודל LoRA פרטי, מסמנים את תיבת הבחירה המתאימה וטוענים אותו לפי מזהה משתמש, אחרת רצים ישירות על מודל הבסיס. הריצה מוגדרת על מעבד גרפי A10G גדול שאמור לתת תוצאות תוך שניות בודדות, אבל נכון לעכשיו היישום מדווח על שגיאת ריצה כללית ולא מגיב.
הרישיון
הרישיון לא דווח בקוד או בתיעוד. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בתוצרים, ויש לבדוק את תנאי הרישיון המקוריים של SDXL ודגמי הבקרה לפני כל שימוש כזה.