rich-text-to-image
רץ בדפדפןsongweigרישיון לא דווח2023-03-22
הכלי מייצר תמונות מטקסט מעוצב שבו גודל, צבע או סגנון הגופן משפיעים ישירות על התוצאה. הוא מיועד למי שמחפש שליטה באזורים ספציפיים בתמונה בלי להסתבך עם מסכות ידניות.
- —הורדות בחודש
- 277לייקים
מה זה
אתם מקלידים הנחיה בתיבת טקסט עשיר, שבה אפשר לצבוע מילים, להגדיל אותן, לעצב בסגנונות שונים או להוסיף הערות שוליים. הפלט כולל את התמונה שנוצרה מהטקסט העשיר, לצד השוואה לתמונה מטקסט רגיל, מפות סגמנטציה ומפות תשומת לב של המודל שמראות איפה כל מילה השפיעה.
מאחורי הקלעים הקוד טוען מודלים כמו Stable Diffusion XL, גרסה 1.5 ומודל CLIP של OpenAI, בשילוב שיטה בשם RegionDiffusionXL. במקום להתייחס לכל הטקסט כמקשה אחת, המערכת מפרקת את המילים לפי העיצוב שלהן ומשייכת תכונות כמו צבע או גודל לאזורים מוגדרים בתמונה.
הממשק מציג ארבע קטגוריות של דוגמאות מוכנות: דוגמאות להערות שוליים, צבעי גופן, סגנונות גופן וגדלים שונים, כך שאפשר לראות איך הדגשת מילה מסוימת משנה את המיקום או את המשקל שלה בסצנה.
מתאים ל
- שליטה בצבעי אלמנטים
צביעת מילים בטקסט כדי לקבוע צבע של עצם ספציפי בלי לצבוע בטעות את כל הסצנה.
- קביעת גדלים יחסיים
שינוי גודל הגופן של מילה מסוימת כדי להגדיל או להקטין את האובייקט שהיא מתארת.
- פירוט באמצעות הערות
שימוש בהערות שוליים על מילים מסוימות כדי להוסיף תיאורים מקומיים בלי לפגוע בהנחיה הראשית.
איפה זה נופל
הבעיה המיידית היא שהחלל פשוט קורס ולא עובד כרגע בדפדפן. מעבר לכך, הקוד מוגבל לרזולוציה קבועה של 1024 על 1024 פיקסלים, ויש המון מחווני כוונון כמו משקל צבע ושימור רקע, מה שמעיד על צורך בניסוי וטעייה כדי לקבל תוצאה מדויקת.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
השימוש בדף חינמי לחלוטין ואינו דורש תשלום. עם זאת, נכון לעכשיו המרחב נמצא במצב של שגיאת ריצה ולא מייצר תמונות בפועל.
כמה זמן לוקח לייצר תמונה?
האפליקציה מוגדרת לרוץ על מעבד גרפי מדגם a10g-large, חומרה שמייצרת תמונות בתוך שניות בודדות. בפועל, בגלל התקלה הנוכחית בשרת, הפעולה לא מסתיימת.
במה זה שונה מסתם להריץ Stable Diffusion?
במודל רגיל כותבים מחרוזת טקסט פשוטה ומקווים שהמודל יבין איזה תואר שייך לאיזה עצם. כאן הממשק מקבל טקסט עשיר ומשתמש במפות סגמנטציה כדי להצמיד תכונות כמו צבע או גודל בדיוק לחלק הנכון בתמונה.
האם אפשר להריץ את זה באופן מקומי?
הקוד בנוי בעזרת Gradio וספריות סטנדרטיות כמו PyTorch, ומסתמך על מודלים ציבוריים. מי שיוריד את הקבצים ויתקין את התלויות יוכל להריץ אותו על מחשב עם כרטיס מסך מתאים, ואולי גם לעקוף את השגיאה שמשביתה את הדף ברשת.
איך משתמשים
לוחצים על כפתור ה־Generate וממתינים. הממשק רץ על חומרת a10g-large, מה שאמור לספק מהירות סבירה ליצירת תמונות ברזולוציה של 1024 על 1024. בפועל, האפליקציה נמצאת במצב שגיאת ריצה, ולכן אי אפשר להפיק בה תמונות כרגע בלי שהיוצר יתקן את התקלה בקוד.
הרישיון
הרישיון של המרחב לא דווח. המשמעות היא שאין הרשאה ברורה לגבי שימוש מסחרי בקוד, וכל עוד היוצר לא הגדיר תנאים, כדאי להניח שהשימוש מוגבל למחקר ולהתנסות אישית בלבד.