sd3-ControlNet
רץ בדפדפןfffiloniרישיון לא דווח2024-06-15
הדגמה שמייצרת תמונות לפי תיאור טקסטואלי תוך שמירה על קווי המתאר של תמונה שמעלים. היא מיועדת למי שרוצה לבדוק שליטה גיאומטרית ביצירה דרך הדפדפן.
- —הורדות בחודש
- 74לייקים
מה זה
אתם מעלים תמונת מקור וכותבים הנחיה בטקסט. הקוד מפעיל אלגוריתם Canny שמחלץ את קווי המתאר של התמונה שלכם, ומזין אותם לצד הטקסט לתוך שרשרת יצירה. בצד השני אתם מקבלים שתי תמונות, אחת שמציגה את מפת הקווים שחולצה, והשנייה היא התוצאה הסופית שנוצרה מחדש.
מאחורי הקלעים רץ שילוב של המודל InstantX/SD3-Controlnet-Canny יחד עם מודל הבסיס של Stable Diffusion 3 Medium מבית Stability AI. הממשק חושף שליטה במספר צעדי הדגימה בין 1 ל־50, עוצמת ההנחיה הטקסטואלית, ומשקל ההשפעה של קווי המתאר שנע בין 0 ל־1 עם ברירת מחדל של 0.7.
מתאים ל
- שמירה על קומפוזיציה
יצירת גרסאות חדשות ומעוצבות לסקיצה קיימת בלי לאבד את המבנה והמיקומים המקוריים.
- בדיקת מודל בקרה
בחינת ההשפעה של משקלי קווי המתאר השונים מול פרומפטים מילוליים ב־SD3.
- עיבוד תמונה לסגנון חדש
הלבשת טקסטורות וחומרים חדשים על בסיס קווי גבול של אובייקט מצולם.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה נמצאת בסטטוס שגיאת ריצה, ולכן אי אפשר להשתמש בה בפועל כרגע. מעבר לזה, המנגנון מוגבל אך ורק לזיהוי קצוות באמצעות Canny, ולא כולל שיטות שליטה אחרות כמו עומק או תנוחת גוף. אם תמונת המקור שלכם מורכבת ועמוסת פרטים, חילוץ הקווים עלול לייצר מפה צפופה מדי שתגביל את היצירתיות של מודל התמונה ותוביל לתוצאות מוזרות.
שאלות
נפוצות
האם השימוש באפליקציה כרוך בתשלום?
הגישה לממשק באתר אינה דורשת תשלום ואינה כוללת מסלולים בתשלום. עם זאת, נכון לעכשיו מופיעה שגיאת ריצה שמונעת יצירת תמונות. במידה והיא תחזור לפעול, הריצה מתבצעת על חומרת שיתופית ללא חיוב.
האם אפשר להריץ את הכלי הזה במחשב האישי?
כן, הקוד מבוסס על פייתון וספריית diffusers של Hugging Face. תצטרכו להוריד את הקוד, להתקין את התלויות הדרושות ולהחזיק כרטיס מסך שמסוגל לטעון את SD3 Medium ואת מודל הבקרה. הקוד המקורי מפורט בקובץ האפליקציה ונגיש למי שרוצה להעתיק אותו.
במה זה שונה מהרצה רגילה של המודל ללא תוספות?
במקום להסתמך רק על טקסט שמתאר מה לצייר, כאן נוסף רכיב שמנתח תמונה ומחלץ ממנה קווי מתאר. המודל מחויב לצייר את התוכן החדש בדיוק בתוך הגבולות של הקווים האלה. השליטה הזו מאפשרת לקבוע איפה כל עצם יישב בפריים ברמת דיוק שלא קיימת בהנחיה מילולית בלבד.
איך משתמשים
גוררים תמונה לחלון הקלט, מקלידים תיאור בשדה הטקסט ולוחצים על כפתור השליחה. בהגדרות המתקדמות אפשר לכוונן את כמות הצעדים והמשקלים. האפליקציה מוגדרת לרוץ על מעבד גרפי מסוג zero-a10g שמקצה משאבים לפי דרישה, אבל כרגע העמוד מדווח על שגיאת ריצה. כשהסביבה במצב תקול, לחיצה על הכפתור לא תפיק תמונה עד שמי שמתחזק את המרחב יתקן את הבעיה בקוד או בסביבת העבודה.
הרישיון
הרישיון של המרחב עצמו לא דווח בקוד או בתיעוד. כשאין רישיון מוגדר, אין הרשאה ברורה לשימוש מסחרי בקוד של הממשק. לגבי התמונות שנוצרות, יש לבדוק בנפרד את תנאי השימוש של מודל הבסיס של סטייבל דיפיוז'ן 3 ושל מודל הבקרה של אינסטנט אקס.