MistoLine-ControlNet-demo
רץ בדפדפןradamesרישיון לא דווח2024-05-22
מעלים תמונה וטקסט כדי לייצר גרסה חדשה שנשענת על קווי המתאר המקוריים שלה. מיועד למי שרוצה לבדוק שליטה ביצירת תמונות מבוססות קווים בלי להגדיר סביבת עבודה מקומית.
- —הורדות בחודש
- 115לייקים
מה זה
התהליך מתחיל בהעלאת תמונה והזנת הנחיה טקסטואלית, כולל אפשרות להנחיה שלילית לקביעת מה לא יופיע. מאחורי הקלעים פועל צינור עיבוד שמשלב את מודל הבסיס של SDXL עם מתאם ControlNet ייעודי לקווים בשם MistoLine, יחד עם מחלץ קווים מסוג Anyline. המערכת מחלצת את קווי המתאר מהתמונה שהעליתם, מציגה אותם בחלון נפרד, ומשתמשת בהם כדי לכוון את יצירת התמונה החדשה.
הממשק כולל רכיב השוואה עם סליידר שמאפשר לבחון את התוצאה לצד המקור. בדוגמאות המוכנות יש תמונות של עיר, דמויות, רכב עתידני ולוגואים, שנועדו להמחיש שמירה על גיאומטריה מדויקת. מתחת לפני השטח הקוד טוען גם מודלים של Canny ושל SDXL Turbo, וכן שימוש בספריית Compel לחידוד משקלי מילים בהנחיה.
מתאים ל
- שחזור סצנות מורכבות
יצירת תמונה חדשה לחלוטין ששומרת על פרופורציות של בניינים, רכבים ודמויות מתמונה קיימת.
- המחשת קווי מתאר
בדיקת איכות החילוץ של כלי הקווים Anyline מול איורים, צילומים עירוניים או לוגואים.
- בדיקת הגדרות בקרה
כוונון ערכי סף ומשקלי השפעה כדי להבין את נקודת האיזון בין ההנחיה הטקסטואלית לצורת המקור.
איפה זה נופל
החיסרון המרכזי והמיידי הוא שההדגמה שבורה ולא מייצרת תמונות כרגע. מעבר לזה, חומרת מעבד בסיסית ממילא לא עומדת בעומס של מודלי SDXL ודורשת האצה גרפית כדי לייצר תוצאות בזמן סביר. אם תנסו להעלות תמונות עם פרטים דקים מאוד או ניגודיות נמוכה, זיהוי הקווים של אניליין עלול לפספס חלקים שלמים מהמבנה המקורי.
שאלות
נפוצות
האם האפליקציה עובדת כרגע בדפדפן?
לא, השרת מדווח על שגיאת ריצה פנימית וההדגמה אינה פעילה. כדי להשתמש בה יש צורך שהמפתח יעדכן את הקוד או את סביבת ההרצה.
האם השימוש בה כרוך בתשלום?
הגישה להדגמה עצמה היא ללא תשלום ואינה דורשת כרטיס אשראי. יחד עם זאת, במצבה הנוכחי היא פשוט אינה מייצרת פלט.
האם אפשר להריץ את זה על המחשב הפרטי?
כן, הקוד פתוח לצפייה ונשען על מודלים ציבוריים של דיפיוזרס. עם זאת, להרצה מקומית חלקה של מודלי SDXL תצטרכו כרטיס מסך חזק עם מספיק זיכרון וידאו.
במה ההדגמה הזו שונה מעבודה ישירה עם המודל?
היא עוטפת את המודל בממשק גרפי של גרדיו שמוסיף חילוץ קווים אוטומטי וכלי להשוואת תמונות. בעבודה ישירה בקוד יש לכם שליטה מלאה על הזיכרון, הגרסאות וצינור העיבוד המלא.
איך משתמשים
טוענים תמונה, כותבים מה רוצים לקבל ולוחצים על כפתור ההפעלה. תחת תפריט ההגדרות המתקדמות תמצאו שליטה בעוצמת המודל, מדרגות רעש, סיגמא לטשטוש סף וחלון הזמן שבו הבקרה משפיעה על היצירה. בפועל האפליקציה נמצאת כרגע במצב שגיאת ריצה על שרת מסוג מעבד בסיסי, כך שאי אפשר להפיק בה פלט כרגע בדפדפן בלי תיקון של המפתח.
הרישיון
האפליקציה לא מדווחת על רישיון שימוש מוגדר. במצב כזה אין הרשאה ברורה לגבי שימוש מסחרי בקוד או בתוצרים, ואין לדעת מה נעשה עם הקבצים שנשלחים לרשת.