Face-Landmark-ControlNet — הדגמה

קוד פתוח

georgefenopenrail2023-03-14

gradio

הדגמה שמייצרת תמונות פנים חדשות לפי מבנה תווי פנים מתמונה קיימת או מהמצלמה. היא מיועדת למי שרוצה לבדוק שליטה בהבעות וזוויות ראש בעזרת מודל ControlNet.

6.7 GBמשקל הקבצים
—הורדות בחודש
116לייקים

מה זה

אתם מעלים תמונת פנים או מצלמים ישירות מהרשת, כותבים תיאור טקסטואלי, והמערכת מחלצת את נקודות ציון הפנים בעזרת dlib כדי להנחות יצירת תמונה חדשה דרך ControlNet ודוגם DDIM. אפשר לשלוט על מספר הדגימות, הרזולוציה, כמות צעדי הדגימה ופרמטרים כמו פרומפט שלילי ועוצמת ההשפעה.

בדוגמאות המוכנות מופיעים מקרים כמו פנים של ליצן, אישה עם משקפיים, דיוקן גבר עם ראש מוטה או אישה שמביטה לשמיים. המטרה היא לקבל דמות אחרת לגמרי ששומרת בדיוק על אותה זווית ראש, הבעה ומיקום תווי פנים מקוריים.

מתאים ל

החלפת דמות באותה הבעה
שמירה על זווית הראש והחיוך של אדם קיים ויצירת דמות מאוירת או אדם אחר לחלוטין.
יצירה ישירה מהמצלמה
צילום עצמי מהיר כדי להעביר את תנוחת הפנים ישירות כבסיס לתמונה חדשה.
בדיקת פרמטרים לשליטה
התנסות בשינוי עוצמת הנקודות וצעדי DDIM כדי לראות כמה המודל נצמד למבנה המקורי.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה נמצאת במצב שגיאה ולא עובדת ברשת כרגע. מעבר לזה, זיהוי נקודות פנים מסתמך על dlib, כך שאם הפנים בתמונה חשוכות מדי, מטושטשות או בזווית חדה מדי, החילוץ ייכשל והמודל לא יקבל נקודות אחיזה.

שאלות
נפוצות

האם השימוש באפליקציה עולה כסף?

הגישה לעמוד פתוחה לגמרי ללא תשלום ואין צורך להירשם. עם זאת, מכיוון שהיא במצב שגיאה כרגע, אי אפשר להריץ אותה בדפדפן בלי לתקן את הקוד עצמאית.

כמה זמן לוקח לייצר תמונה?

החומרה שמוגדרת לה היא מעבד t4-small, שבדרך כלל מייצר תמונת ControlNet בתוך שניות בודדות עד חצי דקה. כרגע זה לא רלוונטי כי השרת לא מריץ את התהליך בהצלחה.

מה קורה עם התמונות שמעלים לממשק?

התמונות נשלחות ישירות לשרת שעליו רץ הגרדיו כדי ש־dlib יחלץ את נקודות הפנים. אין פה התחייבות רשמית על מחיקה מידית, ולכן עדיף לא להעלות צילומים רגישים מדי.

האם אפשר להריץ את זה על המחשב?

כן, הקוד מבוסס על רישיון חופשי ומכיל קובץ app.py סטנדרטי של גרדיו עם שימוש בספריות מוכרות כמו PyTorch ו־dlib. תצטרכו להתקין את התלויות המקומיות ולהוריד את משקלי המודל כדי להפעיל אותו מקומית.

איך מריצים

בפועל בוחרים בין קובץ למצלמה, מכניסים פרומפט ולוחצים על כפתור ההרצה, בלי צורך בחשבון או בהתחברות. מתחת למכסה מוגדר מעבד גרפי מסוג t4-small עם תור מובנה של גרדיו, אבל כרגע העמוד מדווח על שגיאת ריצה כללית, כך שהממשק לא מגיב ולא מייצר פלט.

pip install -U huggingface_hub
hf download georgefen/Face-Landmark-ControlNet

הקבצים

410 קבצים במאגר, 6.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שינויים והתאמות. התמונות שאתם מעלים מועברות לעיבוד בשרת, וכדאי לקחת בחשבון שאין פירוט על שמירת הנתונים.

שימוש מסחרי
שינוי הקוד
מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗