FacePoke_CLONE-THIS-REPO-TO-USE-IT
רץ בדפדפןjbilcke-hfmit2024-10-04
הכלי מזיז ראש והבעות פנים בתמונת פורטרט באמצעות גרירה עם העכבר בזמן אמת. הוא מיועד למי שרוצה לבחון יכולות אנימציה ישירות מתמונה בודדת.
- —הורדות בחודש
- 2,213לייקים
מה זה
אתם מעלים תמונת פורטרט סטטית, מקליקים על אזורים בפנים ומזיזים את העכבר כדי לשנות את כיוון המבט, הטיית הראש וההבעה. הפלט המוצג הוא אנימציה שמתעדכנת בזמן אמת על פי תנועות היד שלכם על גבי התמונה המקורית.
מאחורי הקלעים הקוד מבוסס על מודל LivePortrait ועל מימושים של פרויקט ComfyUI-AdvancedLivePortrait, לצד המודלים KlingTeam/LivePortrait ו־jbilcke-hf/model-cocktail. המערכת מריצה שרת פייתון עם aiohttp וחיבורי WebSocket שמעבירים נתונים ביחד עם צד לקוח שנבנה ב־React וב־Bun.
הממשק מתמקד בשליטה ידנית ישירה ומיועד להציג את יכולות המודל הבסיסי בלי צורך ביצירת וידאו מונחה מראש, אך נשען על קבלת נתוני תמונה מהירים כדי לדמות תנועה חלקה.
מתאים ל
- הנפשת תמונות פורטרט
שינוי מנח הראש והבעת הפנים של דמות מתמונה אחת בזמן אמת.
- בדיקת יכולות LivePortrait
בחינה מהירה של תגובת המודל לתנועות עכבר אינטראקטיביות.
- הטמעה בפרויקט מקומי
הרצת שרת אישי בקונטיינר דוקר לצורך מניפולציית פנים בוידאו.
איפה זה נופל
ההדגמה הנוכחית לא פעילה ברשת ודורשת משאבים עצמאיים כדי לעבוד. לפי התיעוד היא נבדקה רק בסביבת לינוקס עם מעבד גרפי ייעודי, ולכן ניסיון להריץ אותה על מעבד רגיל יוביל לאיטיות קשה ולא יספק את חוויית זמן האמת שהממשק מציע. בנוסף, המודל מתמקד רק בראש ובפנים ואינו מטפל בתנועות גוף רחבות.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה בחינם ישירות באתר?
העמוד ב־Hugging Face נמצא במצב מושהה ולכן לא ניתן להתנסות בו מיד בדפדפן. כדי להשתמש בכלי תצטרכו לשכפל את המרחב לחשבון שלכם או להריץ את הקוד בעצמכם על גבי מחשב מקומי.
האם אפשר להריץ את הכלי במחשב האישי?
כן, המאגר כולל קובץ Dockerfile והנחיות התקנה מסודרות לסביבת פייתון. עם זאת, המפתח מציין שהמערכת נבדקה רק על לינוקס ודורשת כרטיס מסך של Nvidia עם תמיכה ב־CUDA 12.4.
האם מותר להשתמש בתוצרים לצרכים מסחריים?
הקוד עצמו חופשי תחת רישיון MIT, אך משקולות המודל שמבוססות על Insightface מיועדות למחקר בלבד. בשל כך לא ניתן להשתמש בפלט של המערכת הזו למטרות רווח ומסחר.
במה הכלי שונה משימוש רגיל ב־LivePortrait?
במקום להזין קובץ וידאו מוכן שמנחה את התנועה, כאן מקבלים ממשק אינטראקטיבי שמגיב לגרירת סמן העכבר. שרת ה־WebSocket מייצר פריימים חדשים בזמן אמת לפי נקודות המשיכה שאתם קובעים על המסך.
איך משתמשים
כרגע המרחב הרשמי נמצא במצב מושהה ומוגדר על מעבד בסיסי, כך שאי אפשר להשתמש בו ישירות בדפדפן בלי לשכפל אותו. כדי להריץ את הכלי צריך לשכפל את המאגר, להגדיר אותו בחומרה עצמאית או מקומית עם מעבד גרפי של Nvidia ו־CUDA 12.4, או להרים את הקונטיינר דרך דוקר. כשהוא רץ, התקשורת מתבצעת דרך הדפדפן בפורט 8080 מול שרת ה־WebSocket ללא צורך בהתחברות נוספת.
הרישיון
קוד הפרויקט מופץ תחת רישיון MIT שמאפשר שימוש חופשי ועריכה. עם זאת, המשקולות שמגיעות מאימוני Insightface מוגבלות לשימוש מחקרי שאינו מסחרי בלבד. המידע לגבי שמירת התמונות המועלות אינו מפורט בתיעוד.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש