mediapipe-face-mesh-3d

מה זה

אתם מעלים תמונת פנים רגילה דרך העלאת קובץ או הדבקה מלוח הגזירים, או בוחרים באחת מתמונות הדוגמה שמציגות צילומי פנים מזוויות שונות. המערכת מזהה את ציוני הדרך של הפנים, מחלצת נקודות מפתח ומפיקה רשת תלת ממדית בפורמט glTF או obj שמוצגת ישירות בצועד תלת ממד מובנה. בתצוגה אפשר לראות את המודל במצב אטום או במבנה רשת קווים.

מאחורי הקלעים הקוד משתמש בחבילת MediaPipe לחילוץ ציוני דרך של הפנים, יחד עם עיבוד תמונה בסיסי וספריות לחישובי רוטציה מרחביים. הממשק מאפשר לשלוט בהגדרות מתקדמות כמו הכללת פנים העיניים, פנים הפה, החלקת הרשת ויחס העומק. אף שהמפרט מציין קישור למודל FLUX.1 schnell, הקוד עצמו נשען בפועל על MediaPipe ליצירת הרשת הגיאומטרית.

מתאים ל

• הפקת רשת פנים תלת ממדית

  חילוץ מבנה עצמות ופנים מתמונת פורטרט לצורך שימוש בתוכנות תלת ממד.

• בדיקת זוויות והתאמת עומק

  התאמת יחס העומק ובחינת מבנה הפנים במצב רשת קווים או מודל אטום.

• ייצוא נתוני פנים לפיתוח

  יצירת קובצי glTF של מסיכות פנים עבור שילוב במשחקים או באפליקציות הדגמה.

איפה זה נופל

זה לא כלי שמייצר ראש מלא או מודל שלם עם שיער, אוזניים וחלק אחורי, אלא רק מסיכת פנים קדמית שמבוססת על נקודות ציון. אם התמונה לא מציגה פנים ברורות או שהזווית חדה מדי, חילוץ הנקודות עלול להיכשל או לייצר עיוותים גיאומטריים מוזרים. בנוסף, חומרת הריצה הבסיסית עלולה להגיב לאט אם השרת עמוס, ויש לשים לב שהמודל הגרפי שמקושר בדף ההגדרות כלל אינו מעורב ביצירת הרשת בפועל.

איך משתמשים

גוררים תמונה למשבצת הקלט או לוחצים על אחת הדוגמאות המוכנות, ולוחצים על כפתור 3D Mesh. לפני ההרצה אפשר לסמן תיבות בחירה להחלקת הרשת או להכללת חלקי פה ועיניים, ולכוונן את יחס העומק באמצעות סליידר.

העיבוד רץ על חומרת מעבד בסיסית בלבד ללא מאיץ גרפי ייעודי, אבל מאחר שמדובר בחילוץ ציוני דרך קלים יחסית התהליך אמור להסתיים תוך שניות בודדות. אין צורך בהרשמה או התחברות כדי להתחיל לעבוד.

הרישיון

הקוד מופץ תחת רישיון MIT שמאפשר שימוש חופשי, העתקה, שינוי ושימוש מסחרי ללא מגבלות מהותיות. לגבי התמונות שאתם מעלים, הן מעובדות על גבי השרת שמארח את היישום, ולכן לא מומלץ להעלות מידע רגיש או תמונות פרטיות שאינכם רוצים לחשוף.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗