pOps-space
רץ בדפדפןpOpsPapermit2024-06-06
הכלי מייצר תמונות חדשות על ידי שילוב של תמונת אובייקט עם טקסטורות, סצנות או תיאורי טקסט. הוא מתאים ליוצרים וחוקרים שרוצים לבדוק עריכת תמונה מונחית פעולות מוגדרות.
- —הורדות בחודש
- 36לייקים
מה זה
הממשק בנוי כמו משוואה חזותית שבה מחברים כמה רכיבים כדי לקבל תוצאה סופית אחת. במסלול הראשון אתם מעלים תמונת מקור של אובייקט, מקלידים תואר באנגלית כמו melting או shiny, ומוסיפים תמונה של טקסטורה שממנה המודל שואב השראה חזותית. במסלול השני אפשר לחבר תמונת אובייקט ישירות עם תמונת טקסטורה ותמונת סצנה שלמה, בלי לכתוב מילים.
מאחורי הקלעים הקוד מפעיל את סדרת המודלים Kandinsky 2.2, כולל רכיבי ה־prior וה־decoder, יחד עם אופרטורים ייעודיים של הפרויקט ששמורים תחת pOpsPaper/operators. המערכת מחשבת את השילוב בין המאפיינים השונים במרחב הלטנטי כדי להוציא תמונה חדשה ששומרת על צורת האובייקט המקורי אבל מלבישה עליו חומר או רקע חדשים.
מתאים ל
- הלבשת טקסטורה על חפץ
לקיחת תמונה של רהיט או מוצר והלבשת מרקם חזותי חדש מתמונת דוגמה אחרת.
- החלפת סביבה ורקע
שילוב אובייקט קיים בתוך סצנה חלופית מלאה בעזרת העלאת תמונת רקע ייעודית.
- המחשת אפקט סגנוני
שילוב תואר כמו melting או shiny יחד עם תמונת חומר כדי לשנות את מצב הצבירה של האובייקט.
איפה זה נופל
הממשק מוגבל לשני מסלולי עבודה קשיחים בלבד, ואי אפשר לשנות בהם פרמטרים מתקדמים, זרעי אקראיות או משקלים בין הרכיבים. שדה הטקסט מיועד לתארים בודדים באנגלית בלבד, וטקסט בעברית או הנחיות ארוכות כנראה ישבשו את התוצאה לחלוטין. בנוסף, מודל הפעולות מסתמך על התאמה מדויקת בין התמונות, ואם תעלו אובייקט עם רקע עמוס או טקסטורה לא ברורה, התוצר הסופי נוטה לאבד את המבנה המקורי.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הגישה בדפדפן חופשית לחלוטין ואינה דורשת תשלום או הזנת כרטיס אשראי. החומרה ממומנת במסגרת התשתית הציבורית של Spaces.
כמה זמן לוקח לקבל תמונה?
אם השרת ישן, תצטרכו להמתין כדקה עד שהוא יידלק וייטען. לאחר שהשרת באוויר, יצירת תמונה על מעבד ה־A10G לוקחת בדרך כלל כמה שניות בודדות עד חצי דקה, בהתאם לעומס.
אפשר להריץ את המערכת באופן מקומי במחשב שלי?
כן, הקוד מבוסס על ספריות פתוחות ורישיון mit, כך שאפשר להוריד את הקבצים ולהריץ אותם עצמאית. עם זאת, תצטרכו מחשב עם מעבד גרפי חזק מספיק כדי להחזיק את מודלי Kandinsky 2.2 בזיכרון.
מה קורה לקבצים שאני מעלה לכלי?
הקבצים נשלחים לעיבוד ישירות על גבי השרת שמריץ את האפליקציה ב־Hugging Face. הממשק פומבי ואינו מיועד לשמירה על סודיות, לכן מומלץ לא להעלות תמונות אישיות או מידע מסחרי חסוי.
איך משתמשים
העמוד כרגע במצב שינה, ולכן הכניסה אליו דורשת המתנה של כדקה או שתיים עד שהשרת מתעורר וטוען את המודלים לזיכרון. המערכת מוקצית על חומרת zero-a10g, מה שאומר שהעיבוד עצמו מתבצע על מעבד גרפי A10G מהיר יחסית ברגע שהוא פעיל.
בפועל אתם מעלים את קובצי התמונה לשדות המתאימים, מזינים מילת תואר אם בחרתם במסלול הראשון, ולוחצים על כפתור ההרצה הרלוונטי. אין צורך בהרשמה או התחברות לחשבון, אבל דוגמאות הממשק אינן נשמרות מראש במטמון, כך שכל בדיקה דורשת חישוב מלא מההתחלה.
הרישיון
הפרויקט מפורסם תחת רישיון mit, שמאפשר שימוש חופשי בקוד, כולל עריכה, הפצה ושימוש מסחרי ללא תשלום. לגבי התמונות שאתם מעלים ומייצרים, השירות רץ על גבי Hugging Face Spaces הציבורי, כך שלא כדאי להעלות אליו חומרים רגישים או פרטיים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש