Pi3

מה זה

אתם מעלים קובץ וידאו או בוחרים כמה תמונות יחד, ומגדירים מרווח דגימה לפריימים. מאחורי הקלעים הקוד טוען מודל בשם Pi3 של yyfz233, שמבצע למידה גיאומטרית בעלת שוויון תמורות. הוא מחשב את מיקומי המצלמות במרחב ויוצר ענן נקודות תלת ממדי.

בסיום הריצה מופיע מודל תלת ממדי אינטראקטיבי בדפדפן, לצד קובץ ply מוכן להורדה. הממשק כולל גם דוגמאות וידאו מוכנות כמו צילומי בית, הליכה, עמק, סקי, פארקור וסרטון מצויר. בנוסף יש שליטה בתצוגה שכוללת סינון נקודות לפי רמת ביטחון, הצגת מיקומי המצלמות וסינון לפי פריים בודד.

מתאים ל

• שחזור תלת ממד מווידאו

  מעלים סרטון קצר של חפץ או סביבה ומקבלים מודל וקובץ ply להורדה.

• בדיקת מיקומי מצלמה

  צופים בנתיב המצלמות המשוחזר במרחב ביחס לנקודות שנלמדו מהפריימים.

• הערכת מודל Pi3

  בוחנים את ביצועי הרשת על דוגמאות מוכנות של תנועות אנושיות ונופים.

איפה זה נופל

החיסרון הברור ביותר כרגע הוא שההדגמה נמצאת במצב מושהה ולא רצה ברשת. אי אפשר לקבל פלט חדש ישירות בדפדפן בלי להעתיק את הקוד ולהריץ אותו בעצמכם.

הממשק מכוון לעיבוד ויזואלי מהיר, אבל דגימת פריימים מווידאו ארוך עלולה להעמיס מאוד על המעבד. אין פה כלים מורכבים לניקוי רעשים בענן הנקודות מעבר לסליידר ביטחון בסיסי, וזה לא מחליף תוכנות פוטוגרמטריה מלאות שמתמודדות עם תאורה קשה או תנועות חדות.

איך משתמשים

לוחצים על כפתור ההעלאה, בוחרים וידאו או תמונות, ולוחצים על Reconstruct. אם לא רוצים להעלות חומר משלכם, אפשר לבחור באחת הדוגמאות המוכנות מראש ברשימה.

האפליקציה רשומה על חומרת cpu-basic בסיסית, מה שאומר שעיבוד מקומי של תלת ממד ייקח זמן ולא יטוס. בנוסף, נכון לעכשיו הסטטוס שלה מוגדר כמושהה, כך שאי אפשר להריץ אותה בדפדפן עד שהיוצר יפעיל אותה מחדש.

הרישיון

הפרויקט מפורסם תחת רישיון cc-by-4.0. הרישיון מאפשר שימוש חופשי ושינוי של הקוד והמודל, כולל שימוש מסחרי, כל עוד נותנים קרדיט מתאים ליוצר. לגבי קבצים שמעלים, יש לזכור שהם עוברים דרך השרתים של Hugging Face בהתאם לתנאי הפלטפורמה.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗