llm-grounded-diffusion
רץ בדפדפןlonglianרישיון לא דווח2023-05-26
הכלי מפרק תיאור תמונה לקואורדינטות של אובייקטים בעזרת מודל שפה, ומייצר אותה עם סטייבל דיפיוז'ן. הוא מיועד למי שרוצה שליטה מדויקת במיקום של עצמים בפריים.
- —הורדות בחודש
- 45לייקים
מה זה
התהליך מחולק לשניים. בלשונית הראשונה מכניסים תיאור טקסטואלי של התמונה ומקבלים תבנית פרומפט מובנית. את התבנית הזו צריך להעתיק עצמאית לממשק חיצוני של צ'אט ג'יפיטי, שמחזיר רשימת קופסאות תחומות עם מיקומים יחסיים של כל עצם. בלשונית השנייה מדביקים את הפלט של מודל השפה בחזרה לממשק, מוסיפים תיאור כולל של הסצנה, ומייצרים את התמונה.
מאחורי הקלעים רץ שילוב של מודלי סטייבל דיפיוז'ן יחד עם מודל גליגן וסאם של מטא. היישום בגרסה הזו משתמש בגליגן כדי להאיץ את התהליך ולשמור על עקביות, במקום לתפעל את מנגנון הקשב באופן כבד כפי שהוצע במחקר המקורי. הממשק כולל דוגמאות מוכנות מראש לשני השלבים, שממחישות איך פלט של קואורדינטות מתורגם לסידור מדויק של עצמים.
מתאים ל
- שליטה במיקום אובייקטים
קביעת מיקום מדויק של עצמים בפריים לפי קואורדינטות מוגדרות במקום להסתמך על מזל בפרומפט.
- הפרדת תכונות בין עצמים
מניעת זליגת צבעים ותיאורים בין דמויות שונות שנמצאות באותה התמונה באמצעות בידוד אזורי.
- בניית סצנות מורכבות
יצירת קומפוזיציות עם מספר רב של פריטים בחלל דרך פירוק טקסטואלי מוקדם בצ'אט חיצוני.
איפה זה נופל
זה לא כלי של לחיצה אחת. אם צ'אט ג'יפיטי לא מחזיר את מבנה הקופסאות התקין, צריך לתקן את הרווחים בסוף הפרומפט או לשדרג ידנית למודל מתקדם יותר כמו ג'יפיטי 4. בנוסף, מי שמשאיר את תיבת התיאור הכללי ריקה יקבל שרשור אוטומטי של הרקע והעצמים, מה שלרוב פוגע באינטראקציה הטבעית ביניהם.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
הגישה לממשק עצמו היא בחינם ואינה דורשת תשלום. עם זאת, התהליך דורש שימוש עצמאי במודל שפה חיצוני כמו צ'אט ג'יפיטי כדי לייצר את הפריסה, וזה עשוי לדרוש מנוי נפרד אם בוחרים להשתמש במודלים מתקדמים.
כמה זמן לוקח לייצר תמונה?
ברירת המחדל מריצה 20 צעדים, אך השרת מבוסס על מעבד טי 4 ונמצא כרגע במצב שינה, כך שההפעלה הראשונית דורשת זמן התעוררות. זמן היצירה בפועל מתארך משמעותית אם מעלים את כמות הצעדים ל־50 או בוחרים במצב הנחיה מלא.
האם אפשר להריץ את הכלי מקומית?
כן, הקוד פתוח במאגר גיטהאב ייעודי וניתן להתקנה עצמאית על מחשב עם מעבד גרפי מתאים. הרצה מקומית דורשת הורדה של מודלי סטייבל דיפיוז'ן, גליגן וסאם, ותחסוך את התלות בזמינות השרת החינמי.
במה הממשק שונה מהרצת המודל מהמאמר?
בדמו הזה החליפו את מנגנון הקשב מהמאמר המקורי בספריית גליגן כדי לאפשר זמני ריצה סבירים ללא צורך בחישוב לאחור. המפתחים מציינים שההגדרות והפרומפטים בממשק פושטו בהשוואה לצינור העבודה המלא שנבדק במחקר.
איך משתמשים
אין צורך בהרשמה או התחברות כדי לגשת לממשק. העבודה ידנית ומסורבלת, כי היא דורשת מעבר בין האפליקציה לבין אתר צ'אט חיצוני כדי להוציא את הקואורדינטות. הייצור עצמו מוגדר כברירת מחדל ל־20 צעדים, עם אפשרות לעלות ל־50 לקבלת איכות גבוהה יותר. מכיוון שהסביבה יושבת על מעבד גרפי חלש מסוג טי 4 ונמצאת כרגע במצב שינה, הטעינה הראשונית תיקח זמן, וכל יצירה תדרוש המתנה ניכרת אלא אם משכפלים את המרחב לחומרה חזקה יותר.
הרישיון
הרישיון של המאגר לא דווח. הקוד עצמו נשען על ספריות חיצוניות כמו דיפיוזרס וגליגן, שמחייבות ציות לתנאים שלהן בנפרד. כל עוד אין רישיון מוגדר לפרויקט עצמו, אין אישור רשמי לשימוש מסחרי בקוד או בתוצרים.