GPT
הוספת כלי
I

instruct-pix2pix — הדגמה

קוד פתוח

timbrooksmit2023-01-19

  • gradio

עריכת תמונות לפי פקודות טקסט ישירות, בלי מסיכות ובלי תיאור מחדש של כל הסצנה. מתאים למי שרוצה לשנות אלמנט מסוים בתמונה קיימת ולא לבנות אותה מאפס.

  • 860Mפרמטרים
  • 29.7 GBמשקל הקבצים
  • —הורדות בחודש
  • 1,537לייקים

מה זה

אתם מעלים תמונה, כותבים הוראה קצרה באנגלית כמו turn him into a cyborg, ומקבלים גרסה ערוכה של התמונה המקורית. אין צורך לסמן אזורים ידנית או לכתוב פרומפט מפורט שמתאר את כל מה שמופיע בפריים.

מאחורי הקלעים רץ מודל InstructPix2Pix, שהוא אימון המשך על בסיס Stable Diffusion 1.5. החוקרים יצרו מעל 450 אלף דוגמאות אימון באמצעות שילוב של GPT-3 לכתיבת הוראות ו־Prompt-to-Prompt ליצירת זוגות תמונות, כך שהרשת למדה להבין איך שינוי בטקסט צריך להשפיע על הפיקסלים בפועל.

מתאים ל

  • שינוי סגנון או דמות

    הפיכת אדם בתמונה לסייבורג או החלפת סגנון הציור כולו לפי הוראה כתובה אחת.

  • עריכת צבעים ואווירה

    שינוי מזג האוויר, שעת היום או פלטת הצבעים של תמונה קיימת בלי לפגוע בהרכב הסצנה.

  • הוספת פריטים לסצנה

    הכנסת אובייקטים מוגדרים לתמונה על בסיס המבנה המקורי ובלי צורך לצייר מסיכה ידנית.

איפה זה נופל

השיטה מתקשה מאוד בשינויים מרחביים גדולים. אם תבקשו להזיז את המצלמה, לעשות זום או להחליף מקומות בין שני עצמים בפריים, התוצאה לרוב תתפרק או תתעלם מההוראה. בנוסף, ההדגמה מתבססת על מודל שאומן על טקסט באנגלית בלבד, כך שפקודות בעברית לא יעבדו כמצופה.

שאלות
נפוצות

האם השימוש בהדגמה כרוך בתשלום?

לא, ההרצה בדפדפן פתוחה לגמרי ללא עלות. אין צורך להכניס כרטיס אשראי או מפתח API כדי לבדוק תמונות.

כמה זמן לוקח לכל עריכה להתבצע?

העיבוד עצמו רץ על מעבד גרפי A10G ולוקח בדרך כלל שניות בודדות. אם הכלי היה במצב שינה, ייתכן עיכוב קצר נוסף בעלייה הראשונית של השרת.

אפשר להריץ את זה מקומית במחשב שלי?

כן, הקוד הציבורי כולל קובצי סביבה של קונדה וסקריפטים להורדת המשקולות. תצטרכו כרטיס מסך מתאים של אנבידיה כדי להריץ את המודל ואת ממשק ה־Gradio במחשב שלכם.

האם אפשר לכתוב הוראות בעברית?

לא מומלץ. סט הנתונים של ההוראות נבנה ואומן באנגלית באמצעות מודלי שפה, ולכן פקודות בעברית יובילו כמעט תמיד לתוצאות שגויות או להתעלמות.

איך מריצים

טוענים תמונה לממשק, מקלידים את פקודת העריכה בשורת הטקסט ולוחצים על כפתור ההרצה. מתחת למכסה המנוע מוקצה מעבד גרפי מסוג A10G, אבל בגלל תצורת ה־Zero שלו, אם הכלי עמד ללא שימוש תצטרכו להמתין כמה שניות להתעוררות החומרה לפני שהעיבוד מתחיל בפועל.

pip install -U huggingface_hub
hf download timbrooks/instruct-pix2pix

הקבצים

31 קבצים במאגר, 29.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון של המרחב לא דווח במאגר. המשמעות היא שאין הרשאה מפורשת לשימוש מסחרי בפלטים או בקוד ישירות מהדף, ומומלץ לבדוק את תנאי הקוד והמשקולות במאגר המקורי לפני שמשלבים אותם בפרויקטים חיצוניים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗