SyncDreamer

מה זה

אתם מעלים תמונת RGBA של חפץ או בוחרים מתוך דוגמאות מובנות כמו חתול, קוף, פיל או קנקן תה. המערכת חותכת את האובייקט בעזרת SAM ומנקה רקע דרך CarveKit, ומציגה לכם תצוגה מקדימה לפני שמתחיל העיבוד המרכזי.

מאחורי הקלעים רץ מודל הדיפוזיה SyncDreamer יחד עם CLIP ViT Large ודגמי T5 וברט לעיבוד התוכן. במקום לייצר תמונה בודדת, הוא מפיק 16 זוויות שונות בסבב אחד, ומציג אותן יחד כדי להשלים מבט היקפי על העצם שהעליתם.

מתאים ל

• יצירת מבטים למידול תלת מימד

  הפקת 16 זוויות שונות מתמונה בודדת כדי לבנות ענן נקודות או רשת גיאומטרית.

• השלמת צדדים נסתרים בציור

  העלאת איור של דמות או חפץ כדי לראות איך הם עשויים להיראות מאחור ומאקראי.

• הכנת נתונים לאימון רשתות

  הרחבת מאגר תמונות על ידי יצירת זוויות גובה וסיבוב מלאכותיות לחפצים.

איפה זה נופל

הבעיה המיידית היא שהחלל נמצא במצב שגיאת בנייה, כך ששום כפתור לא יעבוד בפועל באתר. מעבר לכך, התהליך מוגבל לחפץ בודד שמבודד היטב מהרקע. אם תעלו סצנה מורכבת עם כמה אובייקטים, החיתוך האוטומטי ייכשל והמבטים המיוצרים לא ישמרו על עקביות.

איך משתמשים

טוענים תמונה, מכוונים את זווית הגובה בין מינוס 10 ל־40 מעלות, וקובעים גודל חיתוך. בהגדרות המתקדמות אפשר לשנות את ה־CFG Scale, את מספר הצעדים וסיד אקראי, ואז לוחצים על כפתור ההרצה. החומרה שהוגדרה להרצה היא כרטיס A10G קטן, אך כרגע העמוד מדווח על שגיאת בנייה ולכן אי אפשר להריץ אותו ישירות בדפדפן.

הרישיון

הקוד והדף מפורסמים תחת רישיון CC-BY-SA 3.0. הרישיון מחייב מתן קרדיט ושיתוף תחת תנאים זהים, אך החומרים אינם מפרטים לגבי זכויות שמירה או פרטיות של התמונות שאתם מעלים לשם.

הרישיון המלא ב־Hugging Face ↗