LooseControl
רץ בדפדפןshariqfarooqmit2023-12-07
הכלי מייצר תמונות על בסיס קופסאות תלת ממדיות והנחיות טקסט, ומיועד למי שרוצה לשלוט בסידור של עצמים במרחב. הוא מבוסס על שילוב של מודל עומק ומודל ייעודי לעריכה גיאומטרית.
- —הורדות בחודש
- 41לייקים
מה זה
אתם כותבים פרומפט טקסטואלי, מגדירים ערך סיד, ומסמנים אם לנעול את הסגנון הקיים כדי לשמור על קו עיצובי אחיד. הממשק מציג עורך תלת ממדי ייעודי, שממנו מייצרים את התמונה הסופית בפורמט ויזואלי רגיל.
מאחורי הקלעים רץ שילוב של Stable Diffusion בגרסה 1.5 הוותיקה, ביחד עם שכבת עומק של ControlNet והמודל loose-control-3dbox. הרעיון כאן הוא לקחת תיחום של קופסאות במרחב תלת ממדי ולהמיר אותו לכיוון מדויק יותר של עומק ואובייקטים בסצנה, מעבר למה שמקבלים מפרומפט רגיל.
מתאים ל
- העמדת חללים בתלת ממד
סידור קופסאות במרחב כדי לייצר תמונה שתואמת בדיוק את הקומפוזיציה והנפח שרציתם.
- שמירה על סגנון רציף
נעילת הסגנון דרך הממשק ויצירת גרסאות שונות לאותה סצנה בלי לאבד את השפה העיצובית.
- שליטה בעומק עם SD 1.5
בדיקת שילוב של מודל עומק יחד עם מודל קופסאות ייעודי על בסיס משקלי תמונה קיימים.
איפה זה נופל
הבעיה המרכזית היא שההדגמה מושהית כרגע ולא ניתנת לשימוש מיידי ברשת. בנוסף, הבסיס נשען על SD 1.5 הישן, ולכן איכות התמונות והריאליזם מוגבלים מאוד בהשוואה למודלים מודרניים. לא הייתי בונה על זה לפרויקט מסחרי שלם אלא רק כבדיקת היתכנות לשליטה בנפח ובמיקום אובייקטים.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה בחינם כרגע?
הדף עצמו פתוח לכולם בחינם, אך כרגע הוא נמצא במצב מושהה ולא ניתן להריץ בו פקודות. כדי להשתמש בו צריך לשכפל את החלל לחשבון שלכם ולהפעיל אותו על חומרה מתאימה. הפעלה כזו עשויה לדרוש משאבי ענן בתשלום אם אין לכם מכסה פנויה.
האם אפשר להריץ את זה מקומית על המחשב?
כן, הקוד מבוסס על ספריות סטנדרטיות כמו gradio, torch ופרויקט loosecontrol. הרישיון הוא MIT ולכן מותר להוריד את הקבצים ולהריץ אותם על כרטיס מסך מתאים. תצטרכו להוריד ידנית את משקלי המודלים המצוינים בקוד כדי שזה יעבוד.
כמה זמן לוקח לייצר תמונה?
החומרה שמוגדרת לכלי היא מעבד גרפי t4-small. בשילוב של SD 1.5 ושני מודלי בקרה, יצירת תמונה בודדת תיקח בדרך כלל בין חמש לעשר שניות. בזמני עומס או בתלות ברזולוציה, הזמנים עשויים להתארך מעט.
במה הממשק הזה שונה משימוש רגיל ב־ControlNet?
במקום להעלות מפת עומק שטוחה או שרטוט מוכן, כאן משולב עורך תלת ממדי ייעודי בתוך הדפדפן. העורך מייצר קופסאות נפח שמכוונות את מודל loose-control-3dbox ישירות מתוך הממשק. זה חוסך את הצורך בתוכנת תלת ממד חיצונית לבניית הסצנה.
איך משתמשים
בממשק כותבים טקסט בתיבת הפרומפט, קובעים סיד ומשתמשים בעורך התלת ממדי לפני שמייצרים תמונה. עם זאת, נכון לעכשיו החלל נמצא במצב מושהה, כך שאי אפשר להריץ אותו ישירות בדפדפן בלי להפעיל או לשכפל אותו מחדש. החומרה שמוגדרת עבורו בקוד היא t4-small, מה שאומר שגם בזמן עבודה, יצירת תמונות עם שלושה מודלים במקביל תיקח כמה שניות טובות לכל ריצה.
הרישיון
הקוד מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. אין הצהרה על שמירת התוצרים שלכם, אך קחו בחשבון שריצה על תשתית ציבורית כפופה לתנאי השימוש הרגילים של השרת המארח.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש