theaTRON

מה זה

מזינים תמונה רגילה דרך קובץ או צילום ישיר במצלמת הרשת, ומוסיפים תיאור טקסטואלי של מה שרוצים לראות. בתפריט ההגדרות אפשר לקבוע מספר צעדים, סיד, הנחיה שלילית ולשמור על הרזולוציה המקורית. הדוגמה המובנית מציגה אסטרונאוטים בתוך תחנת החלל הבינלאומית, ומראה איך המערכת ממקמת את המצולמים שם.

מאחורי הקלעים פועלת שרשרת שלמה של מודלים. זה מתחיל בזיהוי פנים בעזרת kornia, עובר לחיתוך מדויק של הראש באמצעות Segment Anything של מטא, וממשיך לטשטוש וחיבור המסכות. בסוף, Stable Diffusion יחד עם ControlNet שומרים על תנוחת הגוף והקווים כדי לצייר מחדש רק את הסביבה והבגדים.

מתאים ל

• החלפת רקע לדמויות

  שתילת אדם מתוך צילום קיים בתוך סביבות דמיוניות לפי תיאור טקסט חופשי.

• יצירת אווטארים מתמונת רשת

  צילום מהיר במצלמת המחשב והלבשת הגוף בבגדים או בתפאורה של מקצועות שונים.

• בדיקת שרשראות עיבוד

  לימוד האופן שבו מחברים בין זיהוי פנים, SAM ו־ControlNet לצורך משימות אינפיינטינג.

איפה זה נופל

הבעיה המרכזית כרגע היא שההדגמה קרסה ומציגה שגיאת ריצה, ולכן אי אפשר להריץ אותה ישירות דרך הדפדפן. בנוסף, השילוב בין מודל זיהוי פנים, סגמנטציה ו־ControlNet מועד לפספוסים אם התאורה קשה, אם הפנים מוסתרות חלקית, או כשיש בתמונה המון אנשים צפופים.

איך משתמשים

לוחצים על Generate וממתינים. החומרה שהוגדרה להרצה היא כרטיס t4-small, כך שעיבוד כבד שמערב כמה מודלים עוקבים לוקח זמן. אין צורך בחשבון או בהתחברות כדי לגשת לממשק, אבל נכון לעכשיו הוא במצב שגיאת ריצה ולא יעבד תמונות בדפדפן.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד כולל לצרכים מסחריים. לגבי התמונות שאתם מעלים ומייצרים, הן כפופות לתנאי השימוש של פלטפורמת Hugging Face ושל מודלי הבסיס כמו Stable Diffusion.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗