EscherNet
רץ בדפדפןkxicרישיון לא דווח2024-06-04
הכלי מייצר זוויות צפייה חדשות בתלת ממד מתוך תמונות קיימות של חפץ. הוא מיועד לחוקרים ומפתחים שרוצים לבחון שחזור זוויות בלי להרים סביבת אימון מלאה.
- —הורדות בחודש
- 47לייקים
מה זה
מעלים תמונה אחת או כמה תמונות של אותו חפץ מכיוונים שונים. התוכנה מעבירה אותן דרך מודל בשם DUSt3R כדי לחלץ את תנוחות המצלמה במרחב, מנקה רקעים בעזרת CarveKit או SAM, ומייצרת וידאו קצר שמסתובב סביב האובייקט וכן מודל תלת ממד שמוצג ישירות בדפדפן.
מאחורי הקלעים רץ שילוב של מודל דיפוזיה המבוסס על Zero-1-to-3 ורשת Stable Diffusion, יחד עם שיטה לקידוד מיקומי מצלמה שמאפשרת שליטה רציפה בין זוויות המקור לזוויות היעד. הממשק מכיל דוגמאות מובנות מתיקייה ייעודית, המציגות סריקות וחפצים בודדים כדי לבדוק את התהליך בלי להעלות קבצים ידנית.
מתאים ל
- סיבוב מצלמה סביב חפץ
יצירת סרטון שמציג מוצר בזוויות היקפיות מתוך צילום בודד או סט תמונות חלקי.
- הערכת תנוחות מצלמה
בדיקת איכות שחזור תלת ממדי והתאמת זוויות אוטומטית מול מודל DUSt3R.
- בדיקת איכות לסינתזה
השוואת עקביות של יצירת זוויות חדשות ביחס למודלים מוקדמים של Zero-1-to-3.
איפה זה נופל
התוכנה מסתמכת על חילוץ זוויות מצלמה אוטומטי, ואם התמונות שהעליתם חסרות נקודות אחיזה ברורות או בעלות תאורה שטוחה, המודל ייכשל לחלוטין עוד לפני שלב הדיפוזיה. בנוסף, חילוץ הרקע האוטומטי נוטה לחתוך קצוות דקים או שיער, מה שמייצר עיוותים וכתמים שחורים בווידאו הסופי. המודל מתמקד בעצמים בודדים על רקע פשוט, ולא מיועד לסצנות מורכבות שלמות או סביבות מרובות פרטים.
שאלות
נפוצות
האם השימוש בהדגמה בדפדפן עולה כסף?
הגישה פתוחה לגמרי ללא תשלום דרך הדפדפן. אין צורך להזין פרטי אשראי או לרכוש מנוי כדי לנסות אותה. עם זאת, המשאבים מוגבלים לחומרה שיתופית ולכן ייתכנו הגבלות זמן שימוש.
כמה זמן לוקח לקבל תוצאה?
העיבוד דורש שני שלבים נפרדים: הערכת זוויות המצלמה ולאחר מכן הרצת מודל הדיפוזיה. בדרך כלל התהליך נמשך בין דקה לשלוש דקות, בהתאם למספר התמונות וכמות הצעדים שבחרתם. אם השרת עמוס, תצטרכו להמתין בתור לפני שהחישוב יתחיל.
מה קורה לתמונות שאני מעלה?
התמונות נשלחות לשרת המארח כדי לעבור עיבוד, הסרת רקע ודגימה מחדש. הן אינן נשמרות במאגר ציבורי קבוע למיטב המידע שפורסם, אך החיבור מבוצע על שרת שיתופי. מומלץ לא להעלות תמונות פרטיות או מסמכים סודיים.
האם אפשר להריץ את זה על המחשב בבית?
הקוד פתוח וכולל קובץ התקנה עבור סביבת קונדה, כך שניתן להוריד אותו ולהריץ מקומית. כדי להפעיל אותו תצטרכו כרטיס מסך של אנבידיה עם נפח זיכרון משמעותי, שכן הוא טוען מודלים כבדים במקביל. ההרצה המקומית מאפשרת גם לשלוט על פרמטרים נוספים שאינם חשופים בממשק הרשת.
איך משתמשים
טוענים תמונות לרכיב ההעלאה ולוחצים קודם כל על כפתור חילוץ הפוזה. לאחר מכן בוחרים פרמטרים כמו מספר צעדי הדגימה, הסרת רקע ומספר הפריימים, ואז לוחצים על שליחה כדי להתחיל את תהליך הדיפוזיה.
העיבוד רץ על מאיץ A10G דרך מערכת שיתוף משאבים. זמן ההמתנה תלוי במספר התמונות שהזנתם ובכמות צעדי הדגימה, אך לרוב תמתינו בין עשרות שניות לכמה דקות, במיוחד אם יש משתמשים נוספים בתור של השרת.
הרישיון
היוצרים לא ציינו רישיון שימוש במאגר הקוד של ההדגמה. ללא הגדרה רשמית, הקוד ומשקולות המודל אינם מאושרים לשימוש מסחרי חופשי, ולא מומלץ להעלות חומרים רגישים או מוגנים בזכויות יוצרים.