zero123-live

מה זה

אתם מעלים תמונה בפורמט RGBA ובוחרים זווית צילום חדשה כדי לראות את האובייקט מכיוון אחר. הממשק מאפשר לקבוע זוויות בעזרת כפתורים מהירים לתצוגה משמאל, מלמעלה, מימין, מלמטה, מאחור או סיבוב אקראי, ובנוסף מציע סליידרים ידניים לקוטביות, אזימוט ומרחק.

הקוד משתמש במודל דיפוזיה מותנה תמונה של lambdalabs יחד עם DDIMSampler, ומנקה את הרקע בעזרת Carvekit. לצד התמונות החדשות שמיוצרות בגלריה, מוצגת ויזואליזציה תלת ממדית של מיקום המצלמה באמצעות Plotly, והמערכת מציגה גם את התמונה שעברה עיבוד מקדים כדי שתראו מה בדיוק נכנס למודל. בדוגמאות המובנות יש הגדרות מוכנות של זוויות, מספר דגימות וצעדי ריצה.

מתאים ל

• המחשת זוויות לאובייקט בודד

  טעינת תמונת חפץ ויצירת זוויות היקפיות כדי לבדוק איך הוא נראה מהצד או מאחור.

• בדיקת זוויות מצלמה ב־Plotly

  צפייה במיקום המצלמה במרחב התלת ממדי לפני שמשקיעים זמן בחישוב התמונה.

• בחינת יכולות Zero-1-to-3

  בדיקת היכולת של דיפוזיה להשלים מידע גיאומטרי חסר מתמונה שטוחה אחת.

איפה זה נופל

הבעיה המרכזית כרגע היא שהאפליקציה כלל לא עולה בגלל שגיאת בנייה. מעבר לזה, בקוד מוטמע בודק בטיחות שמסנן בני אדם, פנים ותכנים לא הולמים, כך שאי אפשר להשתמש בה על פורטרטים. איכות הפלט תלויה לחלוטין בהסרת הרקע של Carvekit, ואם האובייקט מורכב או מחובר לרקע התוצאה תתעוות.

איך משתמשים

לוחצים על כפתור זווית או מכוונים את הסליידרים ידנית, ואז בוחרים בין הדמיית המצלמה לבין הפקת התמונות. בהגדרות המתקדמות אפשר לקבוע בין 1 ל־8 דגימות, סקייל בין 0 ל־30 ומספר צעדים בין 5 ל־200. השרת מוגדר על חומרת a10g-large, אבל כרגע האפליקציה נמצאת במצב תקלת בנייה ולא ניתנת להרצה ישירה בדפדפן עד שיתקנו את הקוד.

הרישיון

הפרויקט מפורסם תחת רישיון MIT שמאפשר שימוש חופשי, שינוי והפצה של הקוד. עם זאת, התמונות שמעלים והתוצרים כפופים גם למגבלות המודלים המוטמעים בו, כולל מסנני הבטיחות של CompVis ורכיבי צד שלישי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗