demo

מה זה

התהליך מתחיל בהזנת הנחיית טקסט ראשית, לצד הוראות מיקום שמגדירות אילו פריטים יופיעו ובאילו אזורים. בממשק יש משטח שרטוט שמתרגם את התיבות שלכם ומציג תיבת שרטוט מפוענחת, וכך קובעים איפה כל אלמנט ישב בפריים.

מאחורי הקלעים הקוד טוען משקולות של gligen/demo_ckpts_legacy ומשלב שני מודלים מרכזיים להבנת טקסט ותמונה: CLIP של OpenAI ו־BERT של גוגל בגרסת uncased. השילוב הזה לוקח את התיאור המילולי ומצליב אותו עם הקואורדינטות כדי להנחות את תהליך הדיפוזיה.

התוצאה היא סדרה של בין תמונה אחת לארבע תמונות שנוצרות בהתאם לחלוקה שהגדרתם. בהגדרות המתקדמות אפשר לשלוט בפרמטרים כמו סולם הנחיה, מדגם מתוזמן ונעילת סיד כדי לשמור על עקביות.

מתאים ל

• שליטה בקומפוזיציה

  קביעת מיקום מדויק של פריטים ודמויות בתוך פריים לפי תיבות מוגדרות מראש.

• בדיקת מודל מונחה מיקום

  בחינה של שילוב משקולות GLIGEN עם מודלי שפה ותמונה קיימים.

• יצירת גרסאות מרובות

  הפקה של עד ארבע תמונות במקביל תחת אותו סיד והנחיות גיאומטריות.

איפה זה נופל

כרגע הדף בכלל לא עובד ונמצא בסטטוס של שגיאת ריצה, כך שאי אפשר לייצר בו תמונות ישירות בדפדפן בלי לתקן את הקוד. מעבר לתקלה, הממשק דורש דיוק ידני בהגדרת תיבות המיקום, ואם ההנחיות הטקסטואליות סותרות את הגבולות המסומנים, המודל עלול לייצר עיוותים או להתעלם מחלק מהאובייקטים. חבל לבזבז זמן על בדיקת פרומפטים מורכבים בממשק הזה כל עוד השרת קרס.

איך משתמשים

לוחצים על כפתור Generate אחרי שממלאים את הטקסט ומסמנים את התיבות, או שבוחרים באחת הדוגמאות המוכנות. ברירת המחדל מפיקה שתי תמונות במקביל עם אפשרות להעלות לעד ארבע תמונות, ומשתמשת במאיץ a10g-large שאמור לספק תוצאות תוך שניות בודדות ללא צורך בהרשמה.

הרישיון

הרישיון של החלל לא דווח במאגר. בלי הגדרת רישיון רשמית, אין לדעת אם מותר להשתמש בתמונות שנוצרות לצרכים מסחריים וקשה להסתמך עליו לפרויקטים מקצועיים.

הרישיון המלא ב־Hugging Face ↗