InstructPix2Pix_Chatbot
רץ בדפדפןysharmamit2023-01-21
מעלים תמונה ומשנים אותה באמצעות הוראות טקסט בתוך ממשק של צ'אט. הכלי מיועד למי שרוצה לערוך תמונות קיימות בלי להסתבך עם מסכות או הגדרות מורכבות.
- —הורדות בחודש
- 70לייקים
מה זה
אתם מעלים תמונה אחת וכותבים הוראה בשפה חופשית, כמו בקשה להוסיף אובייקט, לשנות רקע או להחליף סגנון. בתגובה, הממשק מחזיר את התמונה המעובדת ישירות בתוך חלון השיחה, ומאפשר להמשיך לכתוב הוראות נוספות על בסיס התוצאה שהתקבלה.
מתחת למכסה המנוע רץ המודל timbrooks/instruct-pix2pix מבית Diffusers עם דיוק fp16 והמתזמן EulerAncestralDiscreteScheduler. בהגדרות המתקדמות אפשר לקבוע 20 צעדי עיבוד כברירת מחדל, וכן לכוונן את עוצמת ההנחיה של הטקסט שמוגדרת מראש על 7.5, ואת עוצמת ההצמדה לתמונה המקורית שמוגדרת על 1.5.
מתאים ל
- עריכת סגנון לתמונה קיימת
כותבים הנחיה להפוך צילום רגיל לציור שמן או לאיור, ובודקים איך המודל משנה את האווירה הכללית.
- הוספה או החלפה של אובייקטים
מבקשים להוסיף משקפי שמש לדמות או להחליף את הרקע לחוף ים, ישירות דרך חלון השיחה.
- ניסוי בהגדרות מודל
משנים את מספרי הצעדים ועוצמת הציות להנחיה כדי לראות איך האלגוריתם מגיב לשינויים עדינים.
איפה זה נופל
הבעיה המרכזית כרגע היא שהאפליקציה במצב PAUSED, כך שאי אפשר להשתמש בה ישירות באתר. בנוסף, המודל הזה מתקשה לפעמים לשמור על פרטים מדויקים מהתמונה המקורית, במיוחד אם לא משחקים ידנית עם ה־Image Guidance scale, והוא נוטה להמציא מחדש אזורים שלמים במקום לעשות שינוי עדין ומקומי.
שאלות
נפוצות
למה הממשק לא מגיב כשאני נכנס לעמוד?
האפליקציה נמצאת כרגע במצב מושהה בשרתים של Hugging Face. עד שהיוצר או מנהל המרחב יפעיל אותה מחדש, אי אפשר להעלות קבצים או לשלוח הנחיות לעיבוד.
האם אפשר להריץ את הקוד הזה באופן עצמאי?
כן, הרישיון הוא MIT והקוד של app.py גלוי לגמרי. אפשר להוריד את הקוד, להתקין את הספריות Gradio ו־Diffusers, ולהריץ אותו על מחשב עם כרטיס מסך מתאים שתומך ב־fp16.
איך משנים את מידת ההשפעה של ההנחיה על התמונה?
פותחים את תפריט ההגדרות המתקדמות שנמצא מתחת לממשק הראשי. שם אפשר להזיז את הסליידרים של Guidance scale לקביעת חוזק הטקסט, ושל Image guidance scale כדי להחליט כמה לשמור על התמונה המקורית.
האם השימוש באפליקציה כרוך בתשלום?
האפליקציה פתוחה וחינמית לחלוטין לצפייה ושימוש ברשת. עם זאת, בגלל שהיא רצה על חומרת a10g-small שנמצאת כרגע בהשהיה, אין אפשרות להשתמש בה בפועל ללא הפעלה מחדש.
איך משתמשים
לוחצים על כפתור ההעלאה, בוחרים קובץ תמונה בודד, ורק אז נפתחת תיבת הטקסט להקלדת ההנחיה. המערכת מוגדרת לרוץ על מעבד גרפי a10g-small שמאפשר עיבוד מהיר יחסית, אבל כרגע האפליקציה נמצאת במצב מושהה ולא מקבלת בקשות בדפדפן עד שיפעילו אותה מחדש.
הרישיון
הקוד מופץ תחת רישיון MIT, מה שמאפשר שימוש חופשי, העתקה ושינוי של הקוד לפרויקטים אישיים או מסחריים. לגבי התמונות שאתם מעלים והתוצאות שנוצרות, הזכויות תלויות בתנאי השימוש הכלליים של Hugging Face ושל מודל הבסיס timbrooks/instruct-pix2pix.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש