zero123

מה זה

הממשק מציג שיטה לסינתזה של נקודות מבט חדשות מתוך תמונה קיימת, בהתבסס על המאמר המדעי שפורסם סביב Zero123. הוא מחולק לשלוש לשוניות שונות לפי מקורות התמונות: תמונות מהעולם האמיתי, סריקות ממאגר Google Scanned Objects, ודוגמאות ממאגר RTMV. בכל לשונית מקבלים תמונת קלט ברירת מחדל כמו מכונית או נעל, ובוחרים מתוך רשימת אפשרויות סגורה.

לפי הקוד, לא מדובר בהרצה חיה של מודל כבד שמייצר יש מאין בכל לחיצה, אלא בתצוגה של תוצאות שחושבו מראש. לצד תמונת הקלט יש סליידרים לקביעת זווית אנכית בין מינוס 30 ל־30 מעלות בקפיצות של 30, זווית אופקית מ־0 עד 330 מעלות, מרחק זום, וסיד רנדומלי בין 0 ל־3. התוצאה המוצגת היא תמונה חדשה ברזולוציה של 256 על 256 פיקסלים מאותה זווית שנבחרה.

מתאים ל

• בחינת יכולות המאמר

  צפייה בתוצאות הדמיית זוויות מתוך מחקר Zero123 על גבי אובייקטים מגוונים.

• הערכת עקביות מרחבית

  בדיקת האופן שבו המודל שומר על פרטים בסיבוב אופקי של 360 מעלות.

• השוואת סוגי אובייקטים

  השוואה בין תמונות מהעולם האמיתי לבין סריקות גיאומטריות של Google Scanned Objects.

איפה זה נופל

זו לא מערכת להעלאת תמונות אישיות. אי אפשר לזרוק פנימה תמונה של מוצר מהטלפון ולצפות לסיבוב תלת ממדי חופשי, אלא רק לעבור בין הדוגמאות שהוטענו מראש בקוד. כל תנועה בסליידר מוגבלת לקפיצות קבועות של 30 מעלות והרזולוציה נשארת נמוכה, 256 על 256 פיקסלים בלבד. מי שבונה על זה ככלי עבודה יתאכזב, כי מדובר בגלריית הדגמה מוגבלת ולא במודל פעיל לקלט חופשי.

איך משתמשים

בוחרים לשונית, מסמנים פריט מתוך התפריט הנפתח ולוחצים על כפתור טעינת התמונה. אחר כך מכוונים את הסליידרים לזווית ולאופסט הרצויים, ולוחצים על הפקת התצוגה כדי לראות את הפלט המשוער באותה זווית.

האפליקציה נמצאת כרגע במצב מושהה והחומרה שלה מוגדרת כמעבד בסיסי בלבד. זה אומר שלא ניתן להריץ אותה ישירות בדפדפן כרגע בלי להפעיל אותה מחדש, וגם כשהיא פועלת, היא מסתמכת על קבצים מוכנים ולא מחזיקה מאיץ גרפי לעיבוד בזמן אמת.

הרישיון

הקוד מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. מאחר שאין כאן אפשרות מעשית להעלות קבצים אישיים אלא רק לצפות בדוגמאות מובנות מראש, שאלת הפרטיות של התוצר פחות רלוונטית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗