PAIR-Diffusion
רץ בדפדפןPAIRרישיון לא דווח2023-03-22
עריכת מראה של אובייקטים בתוך תמונות בעזרת תמונת מקור נוספת. מתאים למי שרוצה להעביר סגנון של פריט מסוים או להוסיף אובייקט חדש על בסיס רפרנס.
- —הורדות בחודש
- 38לייקים
מה זה
מעלים תמונת בסיס ומסמנים בה את האובייקט שרוצים לשנות, לצד תמונת ייחוס שממנה רוצים לקחת את המראה החיצוני. אפשר גם לצייר סקיצה באזור מסוים כדי להוסיף פריט חדש לגמרי. בנוסף, מזינים תיאור טקסטואלי של האובייקט ובוחרים את יחס הערבוב בין המקור לרפרנס. הפלט מתקבל בגלריית תמונות ברזולוציה קבועה של 512 פיקסלים.
מאחורי הקלעים פועל שילוב של מודלי שפה מסדרת T5 של גוגל יחד עם CLIP של OpenAI לחילוץ מאפיינים ועיבוד הטקסט. הקוד מאפשר לכוונן ערכי הנחיה נפרדים לטקסט, למראה ולמבנה הגיאומטרי, לצד הגדרות כמו צעדי דגימה של DDIM, התאמת חוזק שליטה ומסיכות שמגבילות את השינוי רק לאזור הנבחר.
דוגמאות הממשק מציגות בעיקר החלפת מרקמים ומראה בין מכוניות, רהיטים, בתים, נופים ודלתות. המקרים האלה ממחישים איך הצורה הכללית של הרכב או הכיסא נשמרת מתמונת הקלט, בזמן שהצבעים והחומרים נמשכים מתמונת הייחוס.
מתאים ל
- החלפת מראה של אובייקט
לקיחת צבע, מרקם או סגנון מעצם בתמונת רפרנס והלבשתם על פריט קיים בתמונה אחרת.
- הוספת פריט לפי סקיצה
ציור קווי מתאר של אובייקט בתוך תמונה והשלמתו בעזרת דוגמה חזותית מוכנה.
- בדיקת העברת סגנון
בחינת שילוב מראה מחומרים שונים, כמו בתים, כלי רכב או רהיטים, ברזולוציה בסיסית.
איפה זה נופל
החיסרון המיידי הוא שהיישום מושבת. מעבר לתקלה הטכנית, הרזולוציה נעולה על 512 פיקסלים ולא ניתנת להגדלה מהממשק, כך שהפלט מוגבל באיכותו. בנוסף, נדרשת עבודה ידנית מדויקת של העלאת מסיכות או ציור סקיצה. אם הסימון לא יושב טוב על גבולות האובייקט, המיזוג סביב הקצוות עלול להתעוות.
שאלות
נפוצות
האם אפשר להשתמש בה כרגע?
לא. היישום תקוע במצב של שגיאת ריצה על השרת ולא מעבד פקודות. עד שהיוצרים לא יעדכנו את הקוד או יעלו גרסה תקינה, אי אפשר לייצר תמונות דרך הדפדפן.
כמה זה עולה והאם צריך לשלם?
הגישה לעמוד פתוחה וחינמית לחלוטין ברשת. אין כאן מנגנון תשלום או מנוי, אך כרגע החומרה שעליה הוקצה הכלי פשוט לא מסיימת את הטעינה.
מה קורה עם התמונות שמעלים?
התמונות עוברות ישירות לשרת שמריץ את המכולה לצורך העיבוד. מאחר שלא צוין רישיון מסודר ואין פירוט על שמירת מידע, לא כדאי להעלות לשם תמונות פרטיות או רגישות.
האם ניתן להריץ את הקוד באופן עצמאי?
הפרויקט בנוי בתוך מכולת דוקר וכולל קובץ ממשק של גרדיו. מי שיש לו שרת עם חומרה מתאימה ומעבד גרפי ברמה של A10G יכול עקרונית לנסות להרים אותו מקומית, בכפוף לתיקון תקלות ההרצה.
איך משתמשים
בפועל, כרגע אי אפשר להריץ אותה בדפדפן. המופע נמצא במצב של שגיאת ריצה, כך שלחיצה על כפתור ההפעלה לא תניב תוצאה עד שיתקנו את הקוד או את הסביבה. לפי ההגדרות, היא מיועדת לרוץ על חומרת A10G גדולה, מעבד גרפי חזק שבמצב תקין אמור לייצר תמונה בתוך שניות בודדות לפי עשרים צעדי ברירת המחדל.
הרישיון
הרישיון של היישום לא דווח כלל. המשמעות היא שאין הגדרה משפטית לשימוש מסחרי, וכל עוד היוצרים לא הצמיחו רישיון מפורש, הזכויות על הקוד והשימוש בו נשארות לא ברורות. כדאי להניח שהסביבה נועדה להתרשמות מחקרית בלבד ולא להסתמך עליה בפרויקטים מסחריים.