sd-prism

מה זה

אתם מעלים קובץ תמונה ומקבלים תיאור טקסטואלי שמנסה לחלץ את הסגנון והתוכן שלה. אחרי שהטקסט מופיע בתיבה, אפשר לשלוח אותו ליצירת תמונות חדשות שמוצגות בגלריה ברוח המקור.

מאחורי הקלעים אין כאן מודל חדש שנבנה מאפס. הקוד פשוט מחבר שני מרחבים שונים: הוא טוען את CLIP-Interrogator כדי להמיר את התמונה לפרומפט, ואז מעביר את התוצאה למרחב הציבורי של Stable Diffusion כדי לרנדר את התמונות. הממשק מחלק את התהליך לשלבים ברורים, כך שאפשר לראות בדיוק איזה טקסט נוצר בדרך.

מתאים ל

• הנדסת פרומפטים מתמונות

  מחלצים תיאור טקסטואלי מתמונה קיימת כדי ללמוד איך לנסח הנחיות דומות.

• יצירת וריאציות לסגנון

  מעבירים איור קיים לפרומפט ומייצרים ממנו גרסאות ויזואליות מקבילות.

• שיתוף תוצרים לקהילה

  מייצרים גלריית תמונות ומשתמשים בכפתור השיתוף המובנה להצגת התוצאות.

איפה זה נופל

הבעיה המרכזית כרגע היא שהאפליקציה במצב מושהה ולכן היא פשוט לא תרוץ בלחיצת כפתור רגילה. מעבר לזה, חיבור של שני מודלים נפרדים יוצר תלות כפולה, ואם אחד המרחבים החיצוניים של המודלים נופל או משתנה, התהליך כולו נשבר. פענוח התמונה מוגבל ליכולת של קליפ לתפוס סגנונות ופרטים, והוא עלול לפספס הקשרים מורכבים. התוצאה הסופית לא תמיד תהיה נאמנה למקור, כי מדובר ביצירה מחדש מטקסט מתווך ולא בעיבוד ישיר של הפיקסלים.

איך משתמשים

לוחצים על כפתור כדי להזין את התמונה, מחכים שהפרומפט ייכתב בתיבת הטקסט, ואז לוחצים על כפתור נוסף כדי לייצר את התמונות. כרגע המרחב נמצא במצב מושהה, כך שאי אפשר להריץ אותו ישירות בדפדפן בלי להפעיל אותו מחדש. המפרט שמוגדר לו נשען על מעבד בסיסי, אבל בפועל הוא נשען על קריאות למרחבים חיצוניים, כך שזמני ההמתנה תלויים גם בעומס במקומות שמהם נמשכים המודלים.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמתיר שימוש חופשי, שינוי והפצה של הקוד. לגבי התמונות שאתם מעלים או התוצאות שנוצרות, הרישיון של הקוד אינו מפרט תנאי בעלות עליהן, והשימוש בהן כפוף לכללים של המודלים המקושרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗