InstantID — הדגמה
קוד פתוחInstantXapache-2.02024-01-19
מעלים תמונת פנים אחת ומקבלים תמונה חדשה ששומרת על תווי הפנים של המצולם בסגנונות שונים. הפתרון מיועד למי שרוצה ליצור תמונות מבוססות זהות בלי לאמן מודל מותאם אישית.
- 3.9 GBמשקל הקבצים
- —הורדות בחודש
- 3,641לייקים
מה זה
אתם מעלים תמונת פנים, בוחרים תמונת יציבה אם רוצים לשלוט בתנוחה, וכותבים תיאור טקסטואלי של מה שרוצים לראות. מקבלים תמונה מרונדרת שמשלבת את תווי הפנים מהתמונה המקורית בתוך הסצנה שבחרתם, כולל אפשרות לבחור סגנונות מוגדרים מראש מתפריט נפתח.
מאחורי הקלעים רצה צנרת המבוססת על Stable Diffusion XL, בשילוב InsightFace לזיהוי וחילוץ הפנים, מנגנון IP-Adapter, ורשתות ControlNet לשמירה על זהות הפנים ופרטי עומק או קווי מתאר. בדוגמאות המובנות בממשק מופיעות תמונות של דמויות מוכרות מעולם הטכנולוגיה, כמו יאן לקון, אילון מאסק וסם אלטמן, לצד תמונות יציבה שונות שמדגימות שינוי זוויות וסגנון.
מתאים ל
- יצירת פורטרטים לפי סגנון
המרת תמונת פנים יחידה לסגנונות ציור או צילום שונים בלי לאבד את תווי הפנים של האדם.
- החלפת תנוחה לדמות
שילוב תמונת פנים עם תמונת יציבה כדי לייצר תמונה של אותו אדם בזווית גוף חדשה.
- בדיקת שילוב תווים בהנחיה
בחינה מהירה של שילוב פנים ספציפיות בתוך סצנות מורכבות בעזרת מודל SDXL והנחיות טקסט.
איפה זה נופל
אם התמונה שהעליתם לא מכילה פנים ברורות שרכיב הניתוח יכול לזהות, הריצה תיעצר בשגיאה מיד בהתחלה. מעבר לכך, התאמת הפנים נשענת על שקלול בין חוזק הקידוד לתמונת היציבה, ומשחק לא מדויק בסליידרים עלול למרוח את הפנים או לאבד את הדמיון למקור. הדוגמאות המוכנות שמורות מראש במטמון ולכן הן מייצרות תוצאה נקייה ומהירה מאוד, מה שלא תמיד קורה בניסיון ראשון עם תמונה ביתית.
שאלות
נפוצות
האם השימוש באפליקציה כרוך בתשלום?
האפליקציה פתוחה לשימוש ישיר בדפדפן ללא תשלום. אין צורך בהזנת כרטיס אשראי כדי לבדוק אותה. כל מה שנדרש זה גישה לממשק דרך הדפדפן.
כמה זמן לוקח לייצר תמונה?
הזמן תלוי בשאלה אם המעבד הגרפי היה פעיל או במצב המתנה. ריצה עם LCM לוקחת שניות בודדות כי היא דורשת מעט צעדים, בעוד שריצה מלאה של שלושים צעדים לוקחת מעט יותר זמן, במיוחד אם יש עומס ברשת.
במה הממשק הזה שונה מהרצת המודל לבד?
הממשק מחבר יחד כמה מודלים נפרדים, כולל SDXL, ControlNet וניתוח פנים, לכדי טופס אחד פשוט. הוא חוסך את הצורך לכתוב קוד בפייתון או לנהל סביבת עבודה עם כרטיס מסך חזק, אבל נותן פחות שליטה עדינה באפשרויות המתקדמות.
האם אפשר להריץ את זה על המחשב האישי?
הקוד של הפרויקט פתוח תחת רישיון אפאצ'י ומשתמש בספריות מוכרות כמו diffusers ו־gradio. כדי להריץ אותו מקומית תצטרכו כרטיס מסך חזק שמסוגל להחזיק מודלים מבוססי SDXL, ולהוריד את משקלי המודלים המופיעים בקוד.
איך מריצים
טוענים תמונת פנים, כותבים הנחיה בתיבת הטקסט ולוחצים על Submit. יש אפשרות להפעיל LCM כדי לקצר את מספר הצעדים לריצה מהירה יותר, או להשאיר את ההגדרות הרגילות של שלושים צעדים. המערכת משתמשת בהקצאת חומרה מסוג zero-a10g, מה שאומר שהמעבד הגרפי נדלק לפי דרישה, ולכן ייתכן עיכוב של כמה שניות באתחול הראשוני לפני שהתמונה מתחילה להיווצר.
pip install -U huggingface_hub hf download InstantX/InstantID
הקבצים
8 קבצים במאגר, 3.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הקוד והמודל שפורסמו מוגדרים תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינוי קוד. עם זאת, המערכת טוענת רכיבים נוספים כמו InsightFace, שכוללים לעיתים מגבלות שימוש משלהם לגבי שימושים מסחריים שכדאי לבדוק בנפרד.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים