GPT
S

stable-diffusion-conceptualizer

רץ בדפדפן

sd-concepts-librarymit2022-09-23

  • gradio

ממשק לבדיקה ויצירה של תמונות בעזרת מושגים מותאמים אישית מקהילת הקוד הפתוח. מתאים למי שרוצה לשלב סגנונות ודמויות ספציפיות בתוך מודל יצירת תמונה בסיסי.

  • הורדות בחודש
  • 578לייקים

מה זה

הממשק מציג ספרייה של מעל מאה קונספטים מובילים מתוך מאגר של יותר מ־600 פריטים שנוצרו בקהילה. בוחרים מושג מתוך הרשימה, מזינים תיאור טקסטואלי בתיבה הייעודית, ומקבלים גלריה של תמונות שנוצרו לפי ההגדרות האלו.

מאחורי הקלעים רץ המודל CompVis/stable-diffusion-v1-4 יחד עם טכניקת Textual Inversion. הקוד מוריד קובץ משקלים קטן בשם learned_embeds.bin עבור הקונספט שנבחר, וטוען אותו ישירות לתוך ה־Tokenizer וה־Text Encoder של המערכת. הדוגמאות המוכנות כוללות שילובים כמו צעצוע חתול בסגנון madhubani-art, רובוט בקווי מתאר, או פסנתר שמנוגן בידי דמות Bonzi.

מתאים ל

  • שילוב סגנון אמנותי ייחודי

    הזרקת סגנונות קהילתיים כמו line-art ישירות לתוך הפרומפט בעזרת מזהה ייעודי.

  • יצירת דמויות ספציפיות

    יצירת תמונות של אובייקטים מוגדרים כמו cheburashka במצבים וסביבות שונות.

  • בדיקת משקלי הטמעה

    בחינה מהירה של קובצי הטמעה מתוך ספריית הקונספטים לפני הורדה מקומית.

איפה זה נופל

המרחב מושהה כרגע ולא מייצר תמונות בפועל דרך הדף הציבורי. בנוסף, ניסוח הפרומפטים שונה מהרגיל, עצמים דורשים לרוב הוספה של המושג בסוף הטקסט ואילו סגנונות עובדים טוב יותר בתחילתו. שילוב של טוקנים חיצוניים במודל ישן כמו 1.4 נוטה לפעמים לייצר עיוותים אם הניסוח לא מדויק.

שאלות
נפוצות

האם השימוש בממשק עולה כסף?

הגישה לממשק עצמו היא בחינם דרך האגינג פייס. עם זאת, כרגע הוא נמצא במצב PAUSED, ולכן כדי להריץ אותו תצטרכו לשכפל אותו לחשבון שלכם ולממן חומרה מתאימה. הפעלה מחדש דורשת מעבד גרפי תואם.

במה הממשק הזה שונה מהרצת המודל הרגיל?

במקום להסתמך רק על המילים המוכרות של המודל, הממשק טוען קובצי learned_embeds.bin חיצוניים. הקבצים האלה מלמדים את המערכת מילים חדשות לגמרי שמייצגות סגנונות או חפצים. זה מאפשר לקבל תוצאות מדויקות בלי לאמן את כל המודל מחדש.

האם אפשר להריץ את הקוד הזה במחשב האישי?

כן, הקוד מבוסס על ספריות Diffusers סטנדרטיות וזמין תחת רישיון MIT. תוכלו להעתיק את פקודות הטעינה מהקובץ ולהריץ אותן בסביבת פייתון מקומית עם כרטיס מסך מתאים. צריך רק לוודא שיש לכם חיבור רשת להורדת הקבצים של הקונספטים.

איך משתמשים

בוחרים מושג בעזרת תיבת סימון, מקלידים הנחיה שמכילה את הטוקן המיוחד בין סוגריים משולשים, ולוחצים על Run. המערכת רצה על מעבד גרפי מסוג a10g-small בדיוק fp16, כך שהפקת התוצאות מהירה יחסית ברגע שהמשקלים יורדים. כרגע המרחב נמצא במצב PAUSED, ולכן לא ניתן להריץ אותו ישירות בדפדפן בלי להפעיל אותו מחדש.

הרישיון

הפרויקט מפורסם תחת רישיון mit, שמתיר שימוש חופשי, שינוי והפצה של הקוד. המודל הבסיסי עצמו כפוף לתנאי השימוש המקוריים שלו, והקבצים שיורדים מגיעים ממאגרים ציבוריים בהאגינג פייס.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗