Sketch-Gen

מה זה

אתם מעלים תמונת מקור ומקבלים שתי גלריות נפרדות, אחת של סקיצות ואחת של קווי מתאר. הממשק כולל שדות לפרומפט חיובי ושלילי, שליטה על מספר צעדי הביטול, מימדי תמונה, כמות סטים, ערכי סיד ופרמטרים של צעדי ריצה ו־CFG. יש בו גם כפתור תיוג שמפיק תיאור טקסטואלי לתמונה כדי לדייק את הפלט.

מאחורי הקלעים רצים המודלים lllyasviel/Annotators ו־lllyasviel/paints_undo_single_frame. הקוד נשען על מודלי חילוץ קווים דוגמת MangaLineExtraction ו־LineartAnimeDetector לצד מודלי תיוג של wd14, ומשתמש ב־UNet מותאם ודוגם KDiffusion כדי לפרק את האיור לשלבי הרישום הבסיסיים שלו.

מתאים ל

• חילוץ קווי מתאר מאיור

  הפרדת אינקינג וקווים נקיים מתוך ציור צבעוני מלא לצורך צביעה מחדש.

• שחזור סקיצה ראשונית

  החזרת הציור למצב של רישום עיפרון ראשוני באמצעות מנגנון ביטול הצעדים.

• עיבוד דפי מנגה

  חילוץ קווים מלוחות קומיקס בעזרת המודל הייעודי למנגה שמוטמע בקוד.

איפה זה נופל

הכלי מיועד לאיורים, אנימה ומנגה, ולא ייתן תוצאות טובות על תמונות מצולמות מהמציאות. המודלים שרצים מתחת מחפשים מאפייני איור מובהקים, ואם תנסו להזין פורטרט ריאליסטי תקבלו קווים מבולגנים שלא מייצגים סקיצה אמיתית. בנוסף, חילוץ הקווים תלוי מאוד בערכי הצעדים והתיוג שתבחרו, כך שברירות המחדל לא תמיד יפגעו ברמת הפירוט המבוקשת.

איך משתמשים

טוענים תמונה לחלון הקלט, לוחצים על כפתור התיוג לקבלת פרומפט ראשוני אם רוצים, ואז מפעילים את כפתור ייצור הסקיצה. הכלי יושב על חומרת zero-a10g שמקצה כרטיס גרפי לפי דרישה, מה שמאפשר עיבוד מהיר ברגע שההפעלה מתחילה, אבל הממשק מוגדר עם תור כך שייתכן שתמתינו אם יש עומס.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי הקוד והפצה מסחרית תחת תנאי הרישיון. התמונות שאתם מעלים והסקיצות שנוצרות מעובדות על גבי השרת שמריץ את הממשק.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗