canvas_controlnet
רץ בדפדפןvumichienbigscience-openrail-m2023-02-26
מציירים סקיצה פשוטה על גבי קנבס ומקבלים תמונה מפורטת שנוצרת לפיה. זה מיועד למי שרוצה לשלוט במבנה התמונה בעזרת שרבוט חופשי.
- —הורדות בחודש
- 52לייקים
מה זה
הרעיון כאן הוא שליטה ישירה בצורות. במקום לנסות להסביר בפרומפט איפה כל עצם נמצא, אתם פותחים משטח ציור אינטראקטיבי ומשרבטים עליו קווים בסיסיים ישירות בדפדפן.
הקוד טוען את המודל control_sd15_scribble של ControlNet יחד עם Stable Diffusion 1.5, ומעבד את התוצאה בעזרת דוגם DDIM וזיהוי קצוות HED. המערכת לוקחת את השרבוט שלכם, מחלצת ממנו את גבולות העצמים, ובונה לפיהם תמונה שלמה ששומרת בדיוק על הפרופורציות שציירתם.
הממשק בנוי בסטרימליט וכולל רכיב קנבס ייעודי לציור ביד חופשית, תפריטי ניווט ואנימציות לוטיל בזמן ההמתנה. אין כאן דוגמאות מוכנות מראש שמתוארות בקוד, כך שכל יצירה מתחילה מדף חלק שאתם ממלאים בעצמכם.
מתאים ל
- יצירת קונספט ראשוני
שרבוט מהיר של קומפוזיציה כדי להפוך רעיון מופשט לתמונה מוחשית תוך שניות.
- שליטה במיקום אלמנטים
ציור קווי מתאר של חפצים בדיוק במקום שבו אתם רוצים שהם יופיעו בפריים.
- בדיקת יכולות המודל
התנסות בהשפעה של מודל השרבוט על תהליך יצירת התמונה דרך הדפדפן.
איפה זה נופל
הבעיה המרכזית היא שהכלי פשוט לא עובד ואי אפשר להפעיל אותו בעמוד. מעבר לזה, המודל הספציפי שנטען בקוד הוא מודל השרבוטים בלבד, כך שאין כאן תמיכה במפות עומק, תנוחות גוף או פוזות שלמות שקיימות בגרסאות אחרות של קונטרול-נט. מי שבונה על שליטה מורכבת בתאורה או בסגנונות יגלה שהקנבס הזה מוגבל מאוד ביחס ליכולות המלאות של המודל המקורי.
שאלות
נפוצות
האם השירות הזה עולה כסף?
הגישה לעמוד בהאגינג פייס פתוחה לחלוטין וללא תשלום. עם זאת, נכון לעכשיו אי אפשר להשתמש בו בכל מקרה בגלל תקלת תוכנה בשרת שמציגה שגיאת בנייה.
למה האפליקציה לא נפתחת אצלי בדפדפן?
העמוד מדווח על שגיאת בנייה פנימית בקוד של המפתח. בקובץ הריצה יש ערבוב של ספריות שונות כמו סטרימליט וגרדיו שמונע מהשרת להעלות את הממשק בצורה תקינה.
האם אפשר להריץ את הקוד הזה במחשב שלי?
כן, אפשר להוריד את קובץ הריצה ואת משקלי המודל מהאחסון הציבורי ולהריץ אותם מקומית. תצטרכו לתקן את שגיאות הייבוא בקוד ולהצטייד במעבד גרפי שתומך ב־CUDA כדי לקבל ביצועים סבירים.
במה הדף הזה שונה מהרצת המודל המקורי?
הממשק כאן מציע לוח ציור פשוט ומריץ אך ורק את גרסת השרבוטים של המודל. בהרצה מלאה של הכלי המקורי מקבלים עשרות מודלים שונים לשליטה בעומק, גבולות, תנוחות פנים וטקסטורות, שאינם קיימים כאן כלל.
איך משתמשים
בפועל אתם לא יכולים ללחוץ על כלום כרגע כי המרחב נמצא במצב של שגיאת בנייה. כדי שזה יעבוד, היוצר יצטרך לתקן את הקוד שמנסה לטעון במקביל גם סטרימליט וגם גרדיו. אם זה היה רץ על חומרת ה־t4-small שהוקצתה לו, יצירת תמונה בודדת דרך הדפדפן הייתה לוקחת כמה שניות, בלי צורך בהתחברות או בהתקנה.
הרישיון
המודל מופץ תחת רישיון bigscience-openrail-m. הרישיון מאפשר שימוש במודל ובתוצרים שלו, אבל מטיל הגבלות ברורות נגד יצירת תוכן פוגעני, מידע כוזב או שימושים לא חוקיים.