sketch-to-3d

מה זה

מציירים סקיצה ישירות בממשק או מעלים איור, מוסיפים תיאור טקסטואלי קצר ובוחרים סגנון. התהליך מתחיל ביצירת תמונה דו מימדית מפורטת מהשרבוט, ורק לאחר מכן עובר לשלב הבנייה התלת מימדית. בסיום מקבלים תצוגת וידאו מסתובבת של האובייקט, ואפשרות לחלץ קובץ להורדה.

מאחורי הקלעים פועלת שרשרת מודלים. בשלב הראשון sdxl-flash יחד עם controlnet-scribble-sdxl-1.0 ורכיב sdxl-vae-fp16-fix הופכים את קווי השרבוט לתמונה צבעונית מרונדרת. בשלב השני המודל microsoft/TRELLIS-image-large מנתח את התמונה שנוצרה, בונה מבנה מרחבי ומייצר ממנו את הייצוג התלת מימדי הסופי.

מתאים ל

• בדיקת היתכנות לרעיון

  משרבטים צורה גולמית של חפץ ומקבלים מודל מרחבי מהיר כדי להבין נפח וזוויות.

• ייצוא נכסים תלת מימדיים

  מפיקים קבצי GLB מתוך שרבוט לצורך שילוב בתוכנות תלת מימד או במנועי משחקים.

• הפקת Gaussian Splatting

  יוצרים ייצוג נקודות תלת מימדי להטמעה ישירה ברינדורים גרפיים מתקדמים.

איפה זה נופל

אם השרבוט מופשט מדי או שהתיאור המילולי לא מדויק, השלב הראשון ייצר תמונה שגויה והמודל התלת מימדי ייצא מעוות בהתאם. המערכת מפרקת את המשימה לשני שלבים נפרדים, כך שכל תקלה ביצירת התמונה המתווכת תהרוס את התוצאה הסופית. בנוסף, חילוץ קבצי הרשת או הנקודות דורש פעולה נפרדת ולוקח משאבים נוספים.

איך משתמשים

מציירים בתיבת הקלט, כותבים תיאור ולוחצים על כפתור העיבוד לסקיצה ולאחר מכן על הפקת התלת מימד. השרת רץ על מאיץ גרפי zero-a10g שמקצה כוח מחשוב דינמי לפי דרישה, כך שזמני ההמתנה תלויים בעומס על המערכת באותו רגע. הממשק מאפשר לשלוט במספר צעדי הדגימה ובעוצמת ההנחיה, ובסיום יש ללחוץ על חילוץ כדי להוריד קובץ GLB או קובץ Gaussian.

הרישיון

הקוד פתוח תחת רישיון MIT שמאפשר שימוש חופשי, כולל שינוי והפצה. התוכן שאתם מעלים מועבר לשרתי Hugging Face שבהם רץ הממשק, והקבצים נמחקים מהמטמון בהתאם להגדרת המערכת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗