חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
S

sapiens-depth

רץ בדפדפן

facebookcc-by-nc-4.02024-08-30

  • gradio

מעלים תמונה של אדם ומקבלים מפת עומק שמבודדת אותו מהרקע. הכלי מיועד למי שצריך נתוני עומק ממוקדים בגוף אנושי לבדיקות מהירות.

  • —הורדות בחודש
  • 85לייקים

מה זה

אתם מעלים תמונת פוטו רגילה ומקבלים תצוגה ויזואלית של מפת העומק יחד עם קובץ npy להורדה. הקובץ הגולמי שומר את ערכי העומק האמיתיים של האדם, בעוד ערכי הרקע מסומנים כחסרי ערך כדי להפריד את הגוף מהסביבה.

מאחורי הקלעים הקוד משלב שני שלבים נפרדים. קודם כל רץ מודל סגמנטציה שמזהה את הדמות וחותך אותה, ורק אז רץ מודל העומק של משפחת סאפיינס. הממשק כולל תפריטי בחירה לסוגי המודלים ודוגמאות מוכנות מראש לבדיקה מהירה.

מתאים ל

  • בידוד עומק של אנשים

    חילוץ מפת עומק נקייה של גוף אנושי ללא הפרעות מהסביבה לצורכי מידול תלת ממדי.

  • ייצוא נתונים גולמיים

    הורדת קובץ npy עם נתוני העומק המדויקים כדי לעבד אותם בקוד פייתון חיצוני.

  • בדיקת שילובי מודלים

    השוואה מהירה בין גרסאות שונות של מודלי העומק והסגמנטציה על אותה התמונה.

איפה זה נופל

המגבלה הכי בולטת היא שהעמוד מושהה ולא פעיל כרגע. מעבר לזה, המודל מתמקד רק באנשים ולא בונה מפת עומק לכלל החדר, כך שכל מה שמוגדר כרקע נמחק ומקבל ערך ריק. אם תעלו תמונה בלי אנשים, תקבלו פלט חסר תועלת.

שאלות
נפוצות

האם אפשר להשתמש באפליקציה בחינם?

הגישה לעמוד פתוחה בחינם לכולם דרך הדפדפן. עם זאת, נכון לעכשיו המרחב עצמו נמצא במצב מושהה על ידי היוצרים. כדי להשתמש בו בפועל תצטרכו לשכפל אותו לחשבון שלכם ולהריץ אותו שם.

מה קורה עם התמונות שמעלים?

התמונות מעובדות ישירות בתוך סקריפט הפייתון של הממשק. הקוד שומר קבצים זמניים לצורך החישוב והצגת התוצאה למשתמש. אין כאן מנגנון של שמירה קבועה במאגר פומבי, אך מומלץ לא להעלות מידע רגיש לשרתים ציבוריים.

האם אפשר להריץ את זה מקומית על המחשב?

כן, הקוד מבוסס על פייתון וספריות סטנדרטיות כמו פייטורץ' וגרדיו. אפשר להוריד את קובץ האפליקציה ולהריץ אותו בסביבה מקומית משלכם. תצטרכו לוודא שיש לכם את המודלים המתאימים וחומרה מתאימה להרצה.

במה הפלט שונה ממיפוי עומק רגיל?

ההבדל המרכזי הוא הטיפול ברקע שמסביב לדמות. במקום למפות את כל החלל, המערכת משתמשת בסגמנטציה וקובעת ערך ריק לכל פיקסל שלא שייך לאדם. מקבלים נתונים נקיים שמתמקדים אך ורק בגוף המצולם.

איך משתמשים

טוענים תמונה, בוחרים מודל עומק ומודל חיתוך מהרשימות ולוחצים על כפתור ההרצה. נכון לעכשיו החומרה המוגדרת היא מעבד רגיל, אך המרחב כולו נמצא במצב מושהה. המשמעות היא שאי אפשר להריץ אותו ישירות בדפדפן כרגע בלי להעתיק או להפעיל מחדש את הסביבה.

הרישיון

הרישיון הוא מסוג cc-by-nc-4.0. אפשר להשתמש בקוד ובתוצרים לצרכי מחקר וניסויים אישיים, אבל כל שימוש מסחרי באפליקציה או בפלטים שלה אסור לחלוטין.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗