OmniPart

מה זה

מעלים תמונה דו ממדית של חפץ ומקבלים מודלים תלת ממדיים אינטראקטיביים של החלקים שלו. הפלט מציג חלוקה למקטעים, תיבות תוחמות בתלת ממד, אובייקט שלם, תצוגה מפורקת של החלקים, וייצוגים בטכנולוגיית ספלאטינג גאוסיאני תלת ממדי, גם כגוף אחד וגם במצב מפורק.

מאחורי הקלעים פועלים כמה מודלים יחד. RMBG 2.0 מנקה את הרקע מהתמונה, מודלי DINOv2 של מטא מטפלים בחילוץ מאפיינים ויזואליים, ומשקולות ייעודיות של SAM ו־Partfield מושכות את החלקים השונים. מודל נוסף מייצר את התיבות התלת ממדיות, ולאחר מכן המערכת בונה את הרשתות והגאוסיאנים.

הממשק נותן שליטה ידנית על החלוקה. אפשר לכוונן סף גודל, להגדיר מיזוג של חלקים מסוימים דרך שדה טקסט ייעודי, ולשלוט בהגרלה של המודל התלת ממדי בעזרת סיד וערכי הנחיה מספריים.

מתאים ל

• פירוק מודל לרכיבים

  יצירת חלקי תלת ממד נפרדים מתמונה בודדת לצורך הדפסה, אנימציה או פירוק מבני.

• הפקת גאוסיאן ספלאטינג

  בניית ייצוג גאוסיאני תלת ממדי מלא ומפורק שמאפשר רינדור מהיר מכל זווית.

• הגדרת תיבות תוחמות

  הערכת נפח ומיקום במרחב של כל רכיב באובייקט עבור תכנון מרחבי או סימולציה.

איפה זה נופל

הבעיה המרכזית כרגע היא שהאפליקציה במצב תקול ולא מגיבה. מעבר לזה, פירוק לרכיבים דורש התערבות ידנית במיזוג ולא תמיד עובד נקי בהרצה הראשונה. הדוגמאות המוכנות לא נשמרו מראש במטמון, כך שאי אפשר לראות תוצאה מיידית בלי שהקוד ירוץ בפועל.

איך משתמשים

טוענים תמונה ולוחצים על כפתור הסגמנטציה. אם החלוקה לא מדויקת, מזינים מספרי חלקים כדי למזג אותם ומאשרים, ורק אז לוחצים על הפקת המודל התלת ממדי. הממשק רץ על חומרת Zero-A10G שמקצה מעבד גרפי לפי דרישה, אבל כרגע הדף מדווח על שגיאת זמן ריצה ולא ניתן להריץ אותו ישירות בדפדפן בלי תיקון קוד.

הרישיון

הפרויקט מפורסם תחת רישיון MIT הפתוח. הרישיון הזה מתיר שימוש חופשי, שינוי קוד והפצה, כולל שימוש מסחרי, אך הוא לא פותר את ההגבלות של משקולות המודלים החיצוניות שנטענות פנימה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗