leditsplusplus

מה זה

אתם מעלים תמונה ומגדירים מושגים טקסטואליים לשינוי, כולל אפשרות להכוונה חיובית או שלילית. מאחורי הקלעים המערכת משתמשת במודל BLIP כדי לתאר את התמונה באופן אוטומטי, ובמודל Stable Diffusion 2.1 base בשילוב VAE ייעודי לשחזור ועיבוד הוויזואלי. התוצאה היא גרסה ערוכה של התמונה המקורית ששומרת על רוב המבנה שלה.

הטכניקה נשענת על מנגנון היפוך סמנטי שמתבסס על DPMSolver ומפות תשומת לב, במקום ציור מחדש מאפס. בקוד מופיעות גם דוגמאות מוכנות מראש להמחשה, כמו שינויים על תמונת רכב, דיוקן הנערה עם עגיל פנינה, ושדה פרחים.

מתאים ל

• החלפת אובייקטים בתמונה

  שינוי פריטים מסוימים, כמו שינוי סוג הרכב או פרטי לבוש, בלי לצייר מסיכה ידנית מסביבם.

• הסרת אלמנטים לפי טקסט

  שימוש בהכוונה שלילית כדי להעלים פרטים או מאפיינים לא רצויים מתוך תמונה קיימת.

• עריכה סגנונית מבוקרת

  הוספת אפקטים או התאמות אווירה לתמונות אמנותיות תוך שמירה על הקומפוזיציה המקורית.

איפה זה נופל

מכיוון שהבסיס מסתמך על Stable Diffusion 2.1, הוא עלול להתקשות בטקסטים מורכבים או בשינויים זעירים שלא נתפסים היטב במפות הקשב. הדוגמאות המצורפות נבחרו בקפידה ומציגות שינויים חלקים, אך עם תמונות מורכבות יותר מחוץ למאגר ייתכנו מריחות או שינויים לא רצויים באזורים שלא ביקשתם לגעת בהם.

איך משתמשים

טוענים תמונה לממשק, מקלידים את השינוי המבוקש ומריצים. ההדגמה פועלת על חומרת Zero-A10G שמקצה משאבי עיבוד לפי דרישה, כך שזמן הריצה סביר אך עשוי להתארך אם יש תור פנימי במערכת Spaces. אין צורך בהרשמה או בהתחברות כדי לבצע עריכה, ומד התקדמות מציג את שלבי ההיפוך וההפקה בזמן אמת.

הרישיון

הרישיון של היישום לא דווח בקוד או בתיעוד. המשמעות היא שאין הרשאה ברורה ומפורשת לשימוש מסחרי בקוד או בתוצרים, וכדאי להתייחס אליו ככלי למחקר, ניסוי ובדיקה אישית בלבד עד להבהרת תנאי השימוש.

הרישיון המלא ב־Hugging Face ↗