shgao/EditAnything
רץ בדפדפןshgaoרישיון לא דווח2023-04-14
עורכים אזורים מוגדרים בתמונות בעזרת שילוב של מודלי מקטעים ומודלי יצירה. זה מיועד למי שרוצה לשנות פרטים נקודתיים בתמונה בלי לעבוד בפוטושופ.
- —הורדות בחודש
- 150לייקים
מה זה
מזינים תמונה ובוחרים אזור לעריכה כדי לקבל גרסה מעודכנת לפי הנחיות טקסט או סגנון. הממשק מחולק ללשוניות עבודה, כשרק שתיים מהן פעילות בפועל בקוד, עריכה כללית ועריכת פנים ויופי, בעוד לשוניות לגברים, יצירה מאפס ואפשרויות עריכה נוספות נשארו מנוטרלות.
מאחורי הקלעים רץ שילוב כבד של מודלים. הקוד מתבסס על חילוץ מקטעים לפי תשתית Segment Anything, לצד מודלי תיאור תמונה של BLIP ומודלי שפה ממשפחת T5 של גוגל בגדלים שונים. העריכה עצמה נשענת על מודלי ControlNet של lllyasviel למשימות כמו אינפיינטינג, חלוקה למקטעים ורענון פרטים, בתוספת מודלי LoRA וקבצי משקלים ייעודיים שנמשכים ממאגר חיצוני.
התוצאה אמורה להיות תמונה ששומרת על המבנה המקורי של האובייקט אבל מציגה טקסטורה או תוכן שונים לחלוטין באזור שנבחר.
מתאים ל
- החלפת אובייקטים בתמונות
סימון חפץ מסוים בתמונה והחלפתו בפריט אחר לגמרי בעזרת אינפיינטינג מונחה מקטעים.
- עריכת תווי פנים ויופי
שינוי מראה פנים ושיפור מאפיינים ויזואליים בלשונית הייעודית שנשענת על מודלי LoRA.
- החלפת טקסטורות על מבנה קיים
שמירה על גבולות האובייקט באמצעות ControlNet ושינוי הצבע או החומר שממנו הוא עשוי.
איפה זה נופל
הבעיה המיידית היא שההדגמה שבורה ולא נטענת בדפדפן בגלל קריסה טכנית של הקוד. מעבר לכך, הקוד מראה שחלק נכבד מהיכולות שהובטחו במקור, כמו יצירה מלאה מאפס או עריכת גברים, פשוט סגור בהערות ולא זמין למשתמש.
ההסתמכות על חיבור בין כל כך הרבה רכיבים נפרדים, מחילוץ תגיות ועד מודלי תמונה מרובים, מייצרת נקודות כשל רבות בהרצה. אם המודלים לא מסונכרנים במדויק, אזורי המיסוך והטקסטורות עשויים לייצר תוצאות מוזרות עם מריחות צבע או חוסר התאמה מוחלט לרקע הקיים.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
הגישה לממשק היא ללא תשלום ואינה דורשת מנוי. עם זאת, נכון לעכשיו המרחב תקוע בשגיאת הפעלה ולא ניתן להשתמש בו ישירות בדפדפן. אם השרת יחזור לפעול, השימוש בהדגמה יישאר פתוח.
כמה זמן לוקח לכל תמונה להתעבד?
על נייר החומרה שמוגדרת לה היא מעבד גרפי A10G Large, שאמור לבצע משימות כאלה בתוך עשרים עד ארבעים שניות לתמונה. בפועל כרגע שום דבר לא עובד כי המערכת נפלה עם שגיאה בהרצה. אי אפשר לקבל זמני תגובה אמיתיים במצב הנוכחי.
האם התמונות שלי נשמרות איפשהו?
הקבצים נשלחים אל שרת ענן ציבורי שמריץ את קוד ההדגמה של גרדיו. אין שום תיעוד או מדיניות פרטיות שמונעים גישה לקבצים או מבטיחים מחיקה שלהם. לא כדאי להעלות לשם תמונות פרטיות או רגישות.
אפשר להריץ את הכלי הזה באופן עצמאי על המחשב?
הקוד פתוח לעיון אבל הוא תלוי בהורדה של עשרות ג'יגה בייט של מודלים ממאגרים שונים ברשת. תצטרכו מחשב עם כרטיס מסך חזק מאוד וזיכרון נרחב כדי להחזיק את כל המודלים בזיכרון בבת אחת. זה דורש ידע טכני כדי לתקן את שגיאות התלות שגרמו לקריסה בהדגמה.
איך משתמשים
נכנסים לממשק של גרדיו בדפדפן ובוחרים באחת משתי הלשוניות הזמינות, עריכה רגילה או עריכת יופי. מעלים תמונה, מפעילים את כלי הסימון ומגדירים את השינוי הרצוי. אין צורך בהתחברות או בהרשמה מראש כדי לנסות את ההדגמה.
האפליקציה אמורה לשבת על שרת עם מעבד גרפי מדגם A10G Large, חומרה חזקה שאמורה לייצר תוצאות תוך שניות ספורות ולא דקות ארוכות. הבעיה המרכזית היא שכרגע המרחב נמצא במצב שגיאת ריצה. כל עוד השרת קרס בהפעלה, אי אפשר לשלוח בקשות ואי אפשר להריץ עבודות כלל.
הרישיון
היוצר לא פרסם רישיון שימוש בעמוד הפרויקט. המשמעות היא שמבחינה משפטית אין היתר ברור להשתמש בקוד, במודלים הנגזרים או בפלטים לצרכים מסחריים. תמונות שאתם מעלים מועברות דרך שרתי הפלטפורמה הציבורית, וללא תנאי שימוש מוגדרים אין לדעת איך המידע נשמר.