Erasing-Concepts-In-Diffusion

מה זה

בממשק תמצאו שני חלקים עיקריים, בדיקה ואימון. בחלק האימון מגדירים תיאור טקסטואלי קצר של המושג שרוצים להעלים, כמו שם של אמן או קטגוריית עצמים שלמה, וקובעים פרמטרים כמו מספר איטרציות, קצב למידה והנחיה שלילית. התהליך מתבסס על כוונון עדין של משקולות המודל כדי לנטרל את היכולת לחולל את אותו מושג, בלי לפגוע בהבנה של שאר התחומים.

מתחת למכסה המנוע רץ Stable Diffusion בגרסה 1.4 לצד מודל CLIP של OpenAI לעיבוד הטקסט. בלשונית הבדיקה אתם מקלידים פרומפט רגיל וסיד, ומקבלים שתי תמונות להשוואה זו לצד זו, אחת שנוצרה עם המודל המקורי ואחת עם המודל המעודכן שממנו נמחק המושג. בסיום האימון הממשק מאפשר גם להוריד את קובצי המשקולות החדשים שיצרתם.

מתאים ל

• הסרת סגנון של אמן

  אימון המודל לשכוח חיקוי של סגנון אמנותי מסוים, כדי להגן על זכויות יוצרים ומניעת יצירות שנראות כמו עבודותיו.

• חסימת תוכן למבוגרים

  מחיקת מושגים בלתי הולמים ישירות מתוך המשקולות, כך שהמודל לא ייצר אותם גם אם ינסו לעקוף חסימות טקסט.

• מחיקת קטגוריית עצמים

  איפוס היכולת של הרשת לייצר עצמים ספציפיים על בסיס הנחיה שלילית, תוך שמירה על שאר הידע הוויזואלי שלה.

איפה זה נופל

ההדגמה הנוכחית לא פעילה בגלל שגיאת ריצה, ולכן אי אפשר להריץ אותה ישירות ברשת בלי לתקן או להריץ עצמאית. בנוסף, מחיקת מושג מורכב עלולה לעיתים להחליש מושגים קרובים אליו שלא התכוונתם לפגוע בהם. חשוב גם לזכור שהשיטה מכוונת למשקולות של גרסה 1.4 הישנה יחסית, כך שהתוצאות מוגבלות ליכולות הבסיסיות של אותו מודל ספציפי.

איך משתמשים

לוחצים על לשונית האימון, מקלידים את המושג למחיקה, מכוונים את הפרמטרים ולוחצים על כפתור ההרצה. מאחר שמדובר בממשק שיתופי, רק משתמש אחד יכול לאמן בכל רגע נתון, ואם מישהו אחר מאמן תקבלו הודעה לנסות שוב מאוחר יותר. החומרה שמוקצית שם היא מאיץ A10G עם זיכרון רחב, מה שמספק כוח עיבוד טוב, אבל נכון לעכשיו המרחב נמצא במצב של שגיאת ריצה ולא נטען בדפדפן.

הרישיון

הפרויקט מופץ תחת רישיון MIT. הרישיון הזה חופשי ומתיר שימוש מסחרי, שינוי והפצה של הקוד והמשקולות, בכפוף לשמירה על הצהרת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗