MediaPipe-Pose-Estimation
קוד פתוחqualcommapache-2.02024-02-25
פתרון לזיהוי שלד גוף שמותאם לחומרת קוואלקום ורץ ישירות על המעבד העצבי. הוא מתאים למי שחייב ביצועי זמן אמת מקומיים בטלפונים או במחשבים מבוססי סנאפדרגון.
- 55 KBמשקל הקבצים
- 1,654הורדות בחודש
- 111לייקים
מה זה
הצינור הזה מורכב משני חלקים נפרדים שמזהים יחד תיחום ונקודות שלד של פנים, ידיים וטורסו מתוך תמונה. החלק הראשון מאתר את הגוף עם 815 אלף פרמטרים, והחלק השני מחשב את מנח השלד המדויק עם 3.36 מיליון פרמטרים. התשתית כולה נשענת על מימוש פייטקסט של מדיה פייפ, אך עברה הידור ייעודי לריצה על מאיצי NPU של קוואלקום.
התוצאות במדידות מראות מהירויות חריגות לחלוטין. על גבי שבב סנאפדרגון 8 דור 3, שלב איתור הגוף לוקח כ־0.63 מילישנייה בדיוק נקודה צפה, ויורד לכ־0.23 מילישנייה בכימות w8a8. המשמעות בשטח היא שהמודל כמעט אינו מעמיס על המעבד המרכזי ומסוגל לעבד עשרות פריימים בשנייה בלי לפגוע בסוללה או בביצועי יישומים אחרים.
מתאים ל
- מעקב תנועה באפליקציות כושר
זמן עיבוד של פחות ממילישנייה בטלפון מאפשר ניתוח תרגילים חי מול המצלמה ללא תקיעות.
- שליטה במחוות במחשבים ניידים
הפעלת זיהוי שלד רציף על מעבדי X Elite בזיכרון של מגה בייטים בודדים ובלי לרוקן את הסוללה.
- מערכות ניטור נהג ברכב
תמיכה ישירה בשבבי הרכב של קוואלקום כמו SA8775P מאפשרת מעקב מנח יציב על החומרה המובנית.
איפה זה נופל
הקלט מוגבל לרזולוציה קבועה ונמוכה יחסית של 256 על 256 פיקסלים. כתוצאה מכך, דמויות קטנות מאוד ברקע או תמונות עם צפיפות והסתרות מרובות יסבלו מאיבודי דיוק, וכל עיבוד של פריים מחייב שלבי התאמה וקנה מידה מקדימים.
בנוסף, כל שיפורי המהירות כבולים ישירות לחומרה ולספריות של קוואלקום כמו QAIRT בגרסה 2.45 ואונקס ראנטיימ 1.27.1. מי שמחפש פתרון גנרי שרץ באופן אחיד על כל כרטיס גרפי שולחני או סביבת לינוקס שאינה מבוססת על שבבי החברה יגלה שהקבצים האלה אינם מיועדים לו.
שאלות
נפוצות
האם אפשר להריץ את הקבצים האלה על כרטיסי מסך של אנבידיה?
לא באופן ישיר. הקבצים המוכנים בעמוד הזה עברו הידור מותאם למאיצי העיבוד העצבי של קוואלקום, ומיועדים לסביבת הריצה שלהם בלבד.
מה ההבדל בין גרסת float לגרסת w8a8?
גרסת w8a8 משתמשת בכימות של 8 ביט כדי לקצר את זמן הריצה פי שניים עד שלושה ולצמצם את צריכת הזיכרון, במחיר זניח של דיוק ביחס לגרסת הנקודה הצפה.
האם המודל כולל גם איתור וגם הוצאת נקודות ציון?
כן, הצינור בנוי משני תת מודלים נפרדים. הראשון מזהה את מיקום הגוף בתמונה, והשני מחשב את שלד נקודות הציון המלא על גבי האזור שזוהה.
איך מריצים
כדי להריץ אותו צריך חומרת יעד של קוואלקום, כמו שבבי סנאפדרגון למובייל, לפטופים עם מעבדי X Elite, או רכיבי דרגונווינג המשמשים לרובוטיקה ורכב. קוואלקום מספקת קבצים מוכנים מראש בשני פורמטים עיקריים, אונקס מקומפל ל־QNN או בינארי ישיר של הקשר QNN, לצד ספריית פייתון פתוחה המאפשרת לקמפל משקלים מכווננים אישית דרך וורקבנץ'.
קריאה לשירות ענן חיצוני עדיפה רק אם המוצר שלכם פונה למכשירים עם שבבים של אפל, אינטל או מדיה טק. אם רוב קהל היעד רץ על חומרת קוואלקום נתמכת, קבצי הבינאר האלה נותנים זמני תגובה מקומיים של פחות ממילישנייה, ללא עלויות תעבורה או תלות ברשת.
pip install -U huggingface_hub hf download qualcomm/MediaPipe-Pose-Estimation
הקבצים
4 קבצים במאגר, 55 KB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הפרויקט מופץ תחת רישיון אפאצ'י 2.0 המאפשר שימוש מסחרי מלא, שינוי קוד והפצה פנימית או מסחרית בתוך מוצרים. אין חובה לחשוף את קוד המקור של היישום שלכם, אך נדרש לשמר את הודעות זכויות היוצרים והרישיון המקוריות של המפתחים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים