ViTPose
רץ בדפדפןGradio-Blocksרישיון לא דווח2022-05-29
הדגמה לזיהוי תנוחות גוף בתמונות שמיועדת לחוקרים ומפתחי ראייה ממוחשבת. היא מזהה אנשים בפריים ומסמנת נקודות מפתח של שלד על גבי התמונה.
- —הורדות בחודש
- 44לייקים
מה זה
מעלים תמונה לתוך הממשק ומקבלים סימון חזותי של שלד האדם על גביה. התהליך מחולק לשני שלבים נפרדים בקוד. בשלב הראשון בוחרים גלאי מתוך רשימה ולוחצים על זיהוי כדי לאתר אנשים בתמונה, עם אפשרות לכוונן סף זיהוי ולצייר מחדש את התיחום. בשלב השני בוחרים מודל מתוך מודלי ViTPose הזמינים ומריצים הערכת תנוחה שמחברת את המפרקים.
הבסיס הטכנולוגי נשען על המאמר ViTPose שפורסם בארכיו באפריל 2022 ורץ מעל המודל public-data/ViTPose. הממשק מציע גם דוגמאות מוכנות מראש של תמונות שנטענות ישירות לתוך שדה הקלט ומאפשרות לבחון את המערכת בלי להעלות קבצים אישיים. בנוסף, אפשר לשלוט על עובי הקווים ורדיוס הנקודות כדי לראות את השלד בצורה ברורה יותר.
מתאים ל
- הערכת תנוחת גוף בתמונה
זיהוי מפרקים וחיבור שלד על גבי תמונות של בני אדם לצורך מחקר.
- בדיקת ביצועי גלאים
השוואה בין גלאי אובייקטים שונים לפני שמריצים את מודל התנוחה.
- התאמת ויזואליזציה
כוונון ידני של עובי קווים וגודל נקודות כדי להפיק תמונות שלד ברורות.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה נמצאת במצב שגיאת בנייה ולכן אי אפשר להריץ אותה בדפדפן כרגע. מעבר לכך, התהליך מפוצל לשני שלבים ידניים נפרדים שמחייבים קודם גילוי ורק אז הערכת שלד. החומרה שהוקצתה לה היא מעבד בסיסי בלבד, מה שמבטיח איטיות ניכרת אם וכאשר היא תתוקן. היא גם מיועדת לתמונות סטילס בלבד ולא מסוגלת לעבד וידאו או זרם מצלמה חי.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה כרגע?
לא, הדף נמצא כרגע במצב שגיאת בנייה. הקוד לא הצליח להיבנות בשרת ולכן הממשק כלל לא נטען בדפדפן. תצטרכו להמתין שהיוצרים יתקנו אותו או להריץ את הקוד עצמאית.
האם השימוש בה עולה כסף?
ההדגמה פתוחה ללא תשלום ואינה דורשת כרטיס אשראי. היא מוגדרת על שרת מעבד בסיסי חינמי. אין כאן מדרגות תשלום או חשבון פרימיום.
במה הממשק הזה שונה מהמודל המקורי?
האפליקציה משלבת בין מודל לזיהוי אנשים לבין מודל התנוחה של ViTPose ומציגה ממשק חזותי. המודל המקורי הוא משקולות מתמטיות שמקבלות נתונים ומחזירות קואורדינטות. כאן יש רכיבי שליטה על ספי זיהוי וציור שלדים על התמונה.
האם הקבצים שמעלים נשמרים במערכת?
התמונות שאתם מעלים מעובדות בזיכרון של השרת שמריץ את הקוד. לא מוגדר מנגנון שמירת קבצים ציבורי בקוד הממשק. עם זאת, כל מה שנשלח לשירות כפוף למדיניות הפרטיות של האתר המארח.
איך משתמשים
בפועל בוחרים תמונה מקומית או לוחצים על אחת הדוגמאות המוכנות, בוחרים גלאי ולוחצים Detect. אחרי שהתוצאה מופיעה, בוחרים מודל תנוחה ולוחצים Predict כדי לקבל את השלד הסופי. אפשר גם לשנות את גודל הנקודות והקווים וללחוץ Redraw כדי לרענן את הציור בלי להריץ שוב חישוב. העמוד מוגדר על חומרת מעבד בסיסית בלבד בלי מאיץ גרפי, אבל כרגע הוא ממילא נמצא במצב שגיאת בנייה ולא עולה.
הרישיון
הרישיון של היישום לא דווח כלל במאגר. ללא רישיון מוצהר אין אישור ברור לשימוש מסחרי או שימוש חוזר בקוד, ומצב התוכן שמועלה נשאר תחת תנאי השימוש הכלליים של האתר המארח.