img2img-turbo-sketch

מה זה

בממשק מעלים או מציירים סקיצה ישירות על הקנבס בעזרת כלי מברשת ומחק, ומזינים תיאור טקסטואלי של מה שרוצים לראות. ישנה אפשרות לבחור סגנון מתוך רשימה, לשנות את תבנית הסגנון של הפרומפט, לקבוע סיד ולווסת בעזרת סליידר ייעודי בין אפס לאחד את מידת ההשפעה של קווי הסקיצה על התוצאה.

מאחורי הקלעים רץ המודל sd-turbo של stabilityai יחד עם ארכיטקטורת pix2pix-turbo שמבוססת על המאמר One-Step Image Translation with Text-to-Image Models. הטכניקה הזו דוחסת את תהליך הדיפוזיה לצעד בודד כדי לתרגם את הציור לתמונה סופית כמעט בזמן אמת.

מתאים ל

• איור קונספט ראשוני

  הפיכת שרבוט מהיר של חפץ או דמות לתמונה מרונדרת לפי תיאור מילולי.

• בדיקת סגנונות עיצוב

  החלפת תבניות סגנון שונות על אותה סקיצה בסיסית כדי לבחון כיוונים אמנותיים.

• שליטה ידנית בקומפוזיציה

  קביעת המיקום המדויק של אובייקטים בפריים באמצעות ציור קווים פשוט במקום ניסוח פרומפטים ארוכים.

איפה זה נופל

הבעיה המרכזית היא שהחלל כרגע במצב BUILD ERROR ולא מתפקד בעמוד שלו. מעבר לזה, המודל מתבסס על צעד יצירה בודד, מה שלעיתים פוגע בדיוק של פרטים מורכבים לעומת מודלי דיפוזיה איטיים שרצים עשרות צעדים. הוא מיועד רק לתרגום של שרבוטים ולא מתאים לעריכת תמונות פוטו-ריאליסטיות קיימות, והשליטה על התוצאה מוגבלת מאוד אם הסקיצה מופשטת מדי או אם נותנים משקל יתר לסליידר ההנחיה.

איך משתמשים

לוחצים על כפתור Run ומקבלים את התמונה המעובדת לצד כפתורי הורדה ייעודיים לסקיצה ולתוצאה. המערכת מוגדרת לרוץ על חומרת a10g-large חזקה שאמורה לייצר פלט בשבריר שנייה. עם זאת, נכון לעכשיו סטטוס הריצה מוגדר כשגיאת בנייה ולכן אי אפשר להריץ אותה ישירות בדפדפן בלי לתקן את הקוד תחילה.

הרישיון

הפרויקט מפורסם תחת רישיון MIT שמאפשר שימוש חופשי, העתקה, שינוי ושילוב גם במוצרים מסחריים. לגבי התמונות שמעלים או מייצרים, הרישיון של הקוד עצמו אינו מטיל עליהן הגבלות, אך יש להתחשב בתנאי השימוש של מודל הבסיס sd-turbo.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗