Diception-Demo

מה זה

הכלי מבוסס על מודל Canyu/DICEPTION, שמיישם מודל דיפוזיה רב-תכליתי למשימות תפיסה חזותית. אתם מעלים תמונה, מסמנים עליה עד חמש נקודות הנחיה בעזרת לחיצות עכבר, ובוחרים משימות מתוך רשימת אפשרויות. במידה ובוחרים במקטוע סמנטי, הממשק דורש הקלדת שם קטגוריה באנגלית, כמו person, cat או dog, מתוך מאגר COCO שעליו המודל אומן.

התוצאות מופיעות בגלריית תמונות שמציגה את הפלטים השונים בהתאם למשימות שנבחרו, כמו הערכת תנוחה או חיתוך. דוגמאות מובנות בממשק ממחישות את יכולות הזיהוי, אך המפתחים עצמם מציינים שהתוצאות עלולות להיות לא יציבות במקטוע סמנטי בגלל מגבלות גודל ואיכות הנתונים ב־COCO.

מתאים ל

• מקטוע סמנטי מבוסס נקודות

  סימון עד חמש נקודות על גבי תמונה והגדרת קטגוריה ממאגר COCO לקבלת חיתוך ממוקד של האובייקט.

• הערכת תנוחה לבני אדם

  הפקת מפת תנוחה ושלד מתוך תמונת אדם בודדת לשימושי ניתוח תנועה ותפיסה חזותית.

• בדיקת יכולות המודל למחקר

  בחינת הארכיטקטורה של מודל דיפוזיה כללי למשימות ראייה ממוחשבת בהתבסס על המאמר שפורסם.

איפה זה נופל

החיסרון הברור ביותר הוא שהממשק פשוט קורס ולא פעיל כרגע. מעבר לכך, המודל מתקשה בהערכת תנוחה אם מזינים תמונה שאינה מכילה בני אדם, ומקטוע סמנטי מוגבל אך ורק למחלקות המופיעות במאגר COCO ולא יזהה אובייקטים אחרים.

איך משתמשים

בפועל אתם לא יכולים להריץ את ההדגמה כרגע בדפדפן, משום שהיא נמצאת במצב שגיאת ריצה (RUNTIME_ERROR). מעבר לכך, היא מוגדרת על חומרת מעבד בסיסית (cpu-basic), מה שאומר שגם אם תתוקן, עיבוד מודל דיפוזיה כזה ייקח זמן רב וללא כרטיס גרפי הביצועים יהיו איטיים במיוחד.

הרישיון

הקוד וההדגמה מפורסמים תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי והתאמה של הקוד. אין מידע ספציפי לגבי שמירת התמונות המועלות לשרת, ולכן לא מומלץ להעלות קבצים פרטיים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗