CharacterFactory
רץ בדפדפןQinghewרישיון לא דווח2024-05-15
הדגמה שמייצרת תמונות של אותה דמות בסיטואציות שונות לפי טקסט. היא מיועדת למי שרוצה לשמור על עקביות של פנים בלי לאמן מודל שלם מאפס.
- —הורדות בחודש
- 52לייקים
מה זה
מזינים תיאור טקסטואלי של מה שהדמות עושה, ובוחרים אם לייצר דמות חדשה לגמרי או להמשיך עם הדמות הקודמת. אם מייצרים מישהו חדש, בוחרים גם מודל של גבר, אישה או ברירת מחדל רגילה. הפלט הוא גלריית תמונות שבה אותם תווי פנים אמורים להישמר לאורך הפרומפטים השונים שהוזנו.
מאחורי הקלעים רץ שילוב של מחוללי GAN עם המודל Manojb/stable-diffusion-2-1-base ומתזמן מסוג DPMSolverMultistepScheduler. הקוד משתמש גם ב־ViT של transformers כדי לחלץ מאפיינים, ומנהל שיבוצי וקטורים שמייצגים את פני הדמות ומזינים אותם ישירות לתהליך יצירת התמונה בדיפיוז'ן.
מתאים ל
- עקביות של דמות בסיפור
יצירת רצף תמונות של אותו אדם בסצנות שונות לפי פרומפטים נפרדים.
- בדיקת שילוב GAN ודיפיוז'ן
בחינה מעשית של שיטת המחקר לייצוב פנים על גבי Stable Diffusion 2.1.
- עיצוב קונספט ראשוני
בדיקה מהירה של מראה דמות בגוון גברי או נשי לפני הפקה רחבה.
איפה זה נופל
הקוד מבוסס על Stable Diffusion 2.1 הישן יחסית, כך שאיכות הרינדור הכללית ודיוק הרקעים מוגבלים ליכולות של הבסיס הזה. ההפרדה למגדרים עובדת רק ביצירת דמות חדשה, ואם הדמות ההתחלתית לא יצאה מספיק מוגדרת, השמירה עליה בצעדים הבאים עלולה לאבד פרטים.
שאלות
נפוצות
האם השימוש עולה כסף?
לא, הגישה בדפדפן חופשית לחלוטין. השרת ממומן דרך תשתית Spaces על כרטיס A10G.
האם אפשר להריץ את זה מקומית?
כן, הקוד משתמש בספריות מוכרות כמו diffusers ו־transformers. תצטרכו כרטיס מסך תואם ואת קובצי המודל של הפרויקט כדי להרים את זה במחשב שלכם.
במה זה שונה מסתם Stable Diffusion 2.1?
האפליקציה מחברת וקטורים של GAN שמייצגים פנים ישירות לתוך ה־text encoder. זה מאפשר לשמור על מראה קבוע יחסית, מה שמודל רגיל לא עושה בלי תוספות.
איך משתמשים
נכנסים לעמוד, בוחרים מתוך הדוגמאות הקיימות או כותבים פרומפט משלכם בתיבת הטקסט, ומסמנים אם רוצים דמות גברית, נשית או כללית. לוחצים על כפתור Generate וממתינים. יש אינדיקציה של התקדמות בזמן שהתמונות נוצרות.
הקוד רץ על חומרת zero-a10g, מה שמבטיח כוח עיבוד של כרטיס גרפי סביר, אבל בגלל שהשרת מוקצה דינמית יכול לקחת רגע עד שהסביבה מתעוררת.
הרישיון
הרישיון לא דווח במאגר. בלי הגדרה ברורה של תנאי השימוש, לא כדאי להסתמך על התוצאות לשימוש מסחרי, וכל קובץ שמעובד שם נמצא בסביבה ציבורית פתוחה לחלוטין.