sapiens-body-part-segmentation
רץ בדפדפןfashn-aicc-by-nc-4.02024-08-24
הכלי מפרק תמונות של אנשים לחלקי גוף מובחנים בצבעים שונים. הוא מתאים למי שרוצה לבחון סגמנטציה אנושית מבוססת Sapiens של מטא ישירות בדפדפן.
- —הורדות בחודש
- 67לייקים
מה זה
מעלים תמונה של גוף אדם בפורמט PNG, בוחרים מודל מתוך הרשימה, והאלגוריתם מנתח את הגוף ומחזיר מפת חלוקה צבעונית שמפרידה בין איברים וקטעי לבוש. לצד התוצאה מופיעה מקרא מובנה שמסביר איזה צבע שייך לכל חלק גוף. הממשק כולל גם דוגמאות מוכנות שיושבות בתיקיית הנכסים של היישום ומאפשרות לבדוק את התהליך בלי להעלות קובץ אישי.
מאחורי הקלעים רץ מודל סגמנטציה מסדרת Sapiens שפותחה במעבדות Reality Labs של מטא, מיושם בפייתון עם PyTorch ו־torchvision. הקוד טוען מספר נקודות ביקורת שונות לבחירה, מעבד את התמונה וצובע כל מקטע בעזרת ספריות גרפיות כדי לייצר מסכה ברורה של הגוף.
מתאים ל
- בידוד איברים בתמונות
זיהוי וצביעה של חלקי גוף שונים כדי לעבד אזור מסוים בלבד בעריכה גרפית.
- בדיקת איכות של Sapiens
השוואה מהירה של דיוק המודל על גבי דוגמאות מוכנות לפני שמורידים את המשקלים.
- הכנת מסכות למודלים
יצירת מסכות חלוקה לתמונות אדם לצורך מחקר או אימון של מודלים אחרים ללא שימוש מסחרי.
איפה זה נופל
נכון לעכשיו היישום נמצא במצב של שגיאת בנייה ולא מתפקד בפועל בדפדפן, כך שאי אפשר להריץ עליו תמונות כרגע. מעבר לתקלה הטכנית הזו, הקוד מוגבל לסגמנטציה של תמונות סטילס בלבד ולא מטפל בווידאו או בזיהוי תלת-ממדי. כדאי לזכור שהממשק מציג רק חלק מיכולות המודלים של מטא, וצריך לבדוק את הקוד המקורי לפני שמסתמכים עליו בפרויקט אמיתי.
שאלות
נפוצות
האם הכלי פועל כרגע בדפדפן?
לא. הדף מדווח על שגיאת בנייה בשרת, ולכן אי אפשר להריץ בו תמונות כרגע. כדי להשתמש בו צריך להמתין שמתחזקי הפרויקט יתקנו את ההתקנה או להוריד את הקוד ולהריץ אותו באופן עצמאי.
האם השימוש פתוח לצרכים מסחריים?
לא, הרישיון של הפרויקט הוא cc-by-nc-4.0. המשמעות היא שהשימוש מוגבל למחקר, ניסויים אישיים ולמידה בלבד. אי אפשר לשלב את התוצאות או המודל במוצרים מסחריים ללא אישור נפרד.
האם אפשר להריץ את זה על המחשב?
כן, הקוד כתוב באמצעות Gradio ו־PyTorch וזמין בקובץ app.py. צריך סביבת פייתון 3.10 מתאימה, כרטיס מסך שמסוגל להחזיק את המודל של מטא ואת קובצי המשקלים הרלוונטיים.
איך משתמשים
לוחצים על אזור ההעלאה, בוחרים תמונת PNG, מסמנים את שם המודל הרצוי ולוחצים על כפתור ההפעלה כדי לקבל את מפת הסגמנטציה והמקרא. היישום מוגדר לרוץ על חומרת מעבד גרפי A10G של זירו עם ספריית spaces, מה שאמור לספק עיבוד מהיר ברגע שההדגמה פעילה, ללא צורך בהתקנה מקומית.
הרישיון
הפרויקט מפורסם תחת רישיון cc-by-nc-4.0. הרישיון מאפשר שימוש, שיתוף והתאמה של הקוד והמשקלים רק למטרות לא מסחריות, תוך מתן קרדיט מתאים ליוצרים המקוריים.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא