openshape-demo

מה זה

מזינים קלט של צורות תלת ממדיות, טקסט או תמונות, לפי המשימה שבוחרים בממשק. המערכת מחזירה סיווג של הצורה, תיאור טקסטואלי, אחזור של אובייקטים או יצירת תמונה על בסיס ענן נקודות.

מאחורי הקלעים רץ המודל של OpenShape יחד עם CLIP של LAION בגרסת ViT bigG הענקית, שמשמשת לקישור בין ייצוגי הטקסט והתמונה למרחב התלת ממדי. הקוד כולל דוגמאות מובנות מראש לבחירה עבור כל משימה, כך שאפשר לבחון צורות קיימות ישירות מתוך הממשק בלי להעלות קבצים ידנית.

מתאים ל

• סיווג צורות תלת ממד

  זיהוי וסיווג של מודלים תלת ממדיים לקטגוריות טקסטואליות פתוחות לפי ענן הנקודות שלהם.

• יצירת תיאור מילולי לאובייקט

  הפקת כיתוב טקסטואלי שמסביר מה מופיע בתוך צורת תלת ממד נתונה.

• אחזור צורות ותמונות

  חיפוש אובייקט תלת ממדי תואם לפי תמונת קלט או מציאת מידע ויזואלי מקביל.

• המרת ענן נקודות לתמונה

  יצירת תמונה דו ממדית על בסיס הגאומטריה של צורת התלת ממד באמצעות מודל דיפוזיה.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה מדווחת על תקלה טכנית ולא עולה כרגע בדפדפן. מעבר לכך, הדגמות מבוססות דוגמאות מוכנות מראש נוטות להציג תוצאות נקיות בהרבה מאשר קבצי תלת ממד אקראיים שמגיעים מהעולם האמיתי. שילוב בין ענני נקודות למודל CLIP ענק עלול להיות אטי, ולא כדאי להסתמך על הביצועים כאן עבור מערכות בזמן אמת.

איך משתמשים

נכנסים לממשק הסטרימליט ובוחרים באחת המשימות, כמו סיווג, תיאור או אחזור. אפשר להקליק על אחת מצורות התלת ממד המוכנות מראש בגלריה או להזין קלט משלכם כדי להפעיל את העיבוד. האפליקציה מוגדרת לרוץ על מעבד גרפי מסוג T4 medium, אבל כרגע היא במצב שגיאת ריצה ולא תגיב בלחיצה. כשהיא פועלת, החומרה הזו מספקת מענה סביר למודלים כבדים, בלי צורך בחשבון או בהתחברות מוקדמת.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, מה שמאפשר שימוש חופשי בקוד, שינוי שלו והטמעה בפרויקטים מסחריים. לגבי קבצים או תוכן שמעלים, הטיפול כפוף לתנאי השימוש הרגילים של השרת המארח.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗