controlnet-canny
רץ בדפדפןdiffusersרישיון לא דווח2023-03-03
מעלים תמונה וטקסט ומקבלים יצירה חדשה ששומרת על קווי המתאר המקוריים בעזרת זיהוי קצוות. פתרון שמיועד למי שרוצה לשלוט בקומפוזיציה של תמונות בלי להסתמך רק על הנחיות מילוליות.
- —הורדות בחודש
- 61לייקים
מה זה
בממשק מעלים קובץ תמונה ומקלידים תיאור טקסטואלי באנגלית. מאחורי הקלעים הקוד מחלץ מפת קצוות באמצעות אלגוריתם Canny בעזרת OpenCV, ואז מעביר אותה יחד עם הטקסט לצינור עיבוד שמשלב את lllyasviel/sd-controlnet-canny עם מודל הבסיס runwayml/stable-diffusion-v1-5. התוצאה מוצגת בגלריה לצד מפת הקווים שחולצה.
בדוגמה המובנית בממשק מופיע הקובץ input_image_vermeer.png יחד עם ההנחיה לייצר את Sandra Oh באיכות גבוהה. השילוב הזה מדגים איך המודל לוקח יצירה קלאסית מוכרת, שומר על הזוויות והתנוחה של הדמות המקורית, ומלביש עליה דמות אחרת לגמרי לפי הטקסט.
מתאים ל
- החלפת דמויות בפוזה זהה
שמירה על מבנה הגוף והיציבה מתמונה קיימת ויצירת דמות חדשה לחלוטין על בסיס קווי המתאר.
- המחשת קונספט לסקיצות
הפיכת שרטוט ראשוני או קווי מתאר של חפצים לתמונה מלאה ומרונדרת לפי תיאור מילולי.
- בדיקת שילוב מודלים
בחינה מהירה של שילוב ControlNet Canny עם SD 1.5 דרך ספריית diffusers בקוד פייתון.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה שבורה כרגע ולא מגיבה בגלל שגיאת ריצה. מעבר לזה, הממשק בסיסי ביותר ולא נותן שום שליטה על ספי הזיהוי של ה־Canny, מספר הצעדים או משקל ההשפעה של ההנחיה, בניגוד להרצה מקומית מלאה של המודלים האלה.
שאלות
נפוצות
למה האפליקציה לא מחזירה תמונה?
המרחב נמצא כרגע בסטטוס שגיאת זמן ריצה. הקוד נתקל בבעיה בהרצה על השרת, ועד שהיוצר לא יעדכן ויתקן את הקוד, אי אפשר להשתמש בה דרך הדפדפן.
האם השימוש בה עולה כסף?
לא, הממשק פתוח וחינמי לחלוטין לצפייה ולשימוש בלי צורך בהזנת כרטיס אשראי. החומרה שמוקצית לו היא מאיץ t4-small בסיסי שמסופק בחינם.
אפשר להריץ את הקוד הזה במחשב שלי?
כן, הקוד משתמש בספריית diffusers הסטנדרטית וטוען את lllyasviel/sd-controlnet-canny יחד עם Stable Diffusion 1.5. אפשר להעתיק את הקוד מתוך app.py ולהריץ אותו מקומית על כרטיס מסך מתאים.
במה הממשק הזה שונה מהרצת המודל ישירות?
הממשק מציע גרסה מוגבלת מאוד שחושפת רק העלאת תמונה ושדה טקסט. הרצה ישירה של המודלים בקוד מאפשרת לשנות את ערכי הסף של מזהה הקצוות, לשלוט ב־seed ולקבוע את עוצמת ההשפעה של הרשת.
איך משתמשים
טוענים תמונה לתיבת הקלט, כותבים הנחיה ולוחצים על כפתור ההפעלה. האפליקציה מוגדרת לרוץ על חומרת t4-small עם מאיץ UniPCMultistepScheduler שאמור לספק תוצאות תוך שניות בודדות, בלי דרישה לחשבון משתמש או הרשמה מראש.
בפועל כרגע המצב שלה מוגדר כשגיאת זמן ריצה, כך שהיא פשוט קורסת ולא תייצר שום פלט אם תנסו להריץ אותה ישירות בדפדפן.
הרישיון
הרישיון של המרחב עצמו לא דווח בעמוד. המודלים שרצים בפנים הם Stable Diffusion 1.5 ו־ControlNet, כך שחלים עליהם תנאי השימוש המקוריים שלהם, אבל בלי רישיון ברור לאפליקציה עצמה לא כדאי להסתמך עליה לשימוש מסחרי ישיר.