Instruct-X-Decoder

מה זה

מזינים תמונה דרך הממשק ומוסיפים הוראה כתובה בתיבת הטקסט, והמערכת אמורה להחזיר תמונה מעובדת לפי הבקשה. הממשק כולל דוגמאות מובנות מראש שנשמרות במטמון כדי שאפשר יהיה לבדוק את הביצועים מיד.

מאחורי הקלעים רץ שילוב של כמה מודלים מוכרים. הקוד טוען את משקלי המודל הבסיסי של X-Decoder שנשען על ארכיטקטורה ייעודית, ובמקביל משתמש במודלים של CLIP, ב־Instruct-Pix2Pix וברכיבי Inpainting של Stable Diffusion מגרסה 1 וגרסה 2 כדי לבצע את השינויים החזותיים.

מתאים ל

• עריכת תמונה לפי פקודה

  מעלים תמונה קיימת ומבקשים בטקסט להוסיף או לשנות אובייקט מסוים.

• בדיקת יכולות X-Decoder

  בחינת האופן שבו המודל משלב מודלי שפה ותמונה מרובים ביחד.

• בחינת ביצועי אינפיינטינג

  השוואת עריכות מבוססות טקסט מול היכולות של מודלי Stable Diffusion.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט לא עובדת בדפדפן כרגע בגלל שגיאת בנייה. מעבר לזה, המודל מתבסס על שרשור של מספר מודלים כבדים, כך שאיכות התוצאה תלויה ביכולת של המערכת לפענח הוראות מדויקות בלי לעוות אזורים אחרים בתמונה. הוראות בעברית כנראה לא יתקבלו טוב מול המודלים האלה, שמכוונים ומאומנים על אנגלית.

איך משתמשים

נכנסים לעמוד, גוררים תמונה או בוחרים באחת הדוגמאות הקיימות, מקלידים הוראה בתיבת הטקסט ולוחצים על שליחה. החומרה שנבחרה להריץ את העסק היא מאיץ מסוג A10G Large, מה שאמור לספק זמני תגובה של שניות בודדות לעיבוד תמונה, בלי צורך בחשבון בתשלום. העניין הוא שנכון לעכשיו אי אפשר להריץ אותה בדפדפן, כי הסביבה נכשלה בשלב הבנייה והאפליקציה נמצאת בשגיאת בילד.

הרישיון

הפרויקט מפורסם תחת רישיון AFL-3.0, שמאפשר שימוש בקוד ומחייב תנאים מסוימים לגבי הפצה מחדש ושינויים. הרישיון לא מפרט תנאים ספציפיים לגבי בעלות על תמונות שמועלות או נוצרות בממשק הרשת עצמו.

הרישיון המלא ב־Hugging Face ↗