controlnet-segment-anything

מה זה

אתם מעלים תמונה בגודל 512 על 512 וכותבים תיאור חיובי ושלילי. המערכת מייצרת מפת סגמנטציה של האובייקטים בתמונה ומשתמשת בה כדי להפיק תמונות חדשות לחלוטין ששומרות על אותו מבנה בדיוק. הדוגמאות המובנות כוללות עיבוד של טירה בסגנון ואן גוך, סלון יפני, או דיוקן מונוכרומטי של הנרי קאביל.

מאחורי הקלעים רץ שילוב של מודל Segment Anything של מטא לזיהוי וחיתוך האובייקטים, יחד עם ControlNet ייעודי ו־Stable Diffusion 1.5 ליצירת התמונה הסופית. המודל של ControlNet אומן על מאגרי נתונים מבוססי COYO, ולכן הוא יודע לקבל את מפת המקטעים כהנחיה חזותית ברורה.

מתאים ל

• שינוי סגנון לפי קומפוזיציה

  המרת צילום קיים לציור בסגנון ואן גוך או פיקאסו תוך שמירה על המיקום המדויק של כל חפץ בפריים.

• עיצוב פנים וחללים

  יצירת גרסאות עיצוב חדשות לחדרי מגורים על בסיס מפת האובייקטים של הסלון המקורי.

• בדיקת חלוקה למקטעים

  חילוץ מפות סגמנטציה אוטומטיות מתמונות באמצעות המודל של מטא בלחיצת כפתור אחת.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט לא עובדת וקורסת בהרצה, כך שאי אפשר לבדוק אותה כרגע ישירות באתר. מעבר לזה, התמונות נחתכות לגודל קבוע של 512 על 512 פיקסלים, מה שמגביל מאוד אם אתם צריכים תוצרים ברזולוציה גבוהה. היא מבוססת על סטייבל דיפיוז'ן 1.5 הוותיק, כך שאיכות הרינדור ודיוק הטקסטורה תואמים למודלים המוקדמים יותר ולא לדור הנוכחי.

איך משתמשים

נכון לעכשיו אי אפשר להשתמש בה בדפדפן כי היא מדווחת על שגיאת ריצה (RUNTIME_ERROR). אם היא תעלה מחדש, העבודה פשוטה: בוחרים תמונה ופרומפט ולוחצים על כפתור החלוקה והיצירה, או מחלקים קודם ויוצרים אחר כך. בהגדרות המתקדמות אפשר לקבוע בין 10 ל־60 צעדים, לבחור סיד, ולהפיק בין תמונה אחת לארבע תמונות במקביל. השרת מוגדר על חומרת A10G-Small.

הרישיון

הקוד פתוח תחת רישיון MIT, מה שנותן חופש כמעט מוחלט להעתיק, לשנות ולהשתמש בו גם לצרכים מסחריים. לגבי התמונות שאתם מעלים או מפיקים, הרישיון אינו מגביל אתכם, אך זכויות השימוש במודל הבסיס כפופות לתנאי הרישיון המקוריים של Stable Diffusion 1.5.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗