חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
S

SpaRP

רץ בדפדפן

sudo-aicc-by-nc-4.02024-08-07

  • docker

הופך תמונות רגילות של חפץ מזוויות בודדות למודל תלת ממדי מלא. מתאים למי שרוצה לשחזר גופים בלי לכייל מצלמות מראש.

  • —הורדות בחודש
  • 38לייקים

מה זה

מעלים לכאן תמונות בודדות של אובייקט, בלי נתוני זווית או מיקום מצלמה ידועים מראש. בתמורה מקבלים רשת תלת ממדית של החפץ, כשהאלגוריתם מחשב בעצמו גם את המבנה המרחבי וגם את תנוחת הצילום של כל תמונה.

מאחורי הקלעים רץ שירות שמבוסס על SpaRP, מחקר שמיועד לשחזור תלת ממד מהיר ממספר קטן של נקודות מבט. הקוד נשען על המאמר האקדמי שפורסם באוגוסט 2024, ומחבר בין הערכת זוויות הצילום לבין יצירת הגאומטריה המלאה של העצם.

מתאים ל

  • שחזור חפצים מתמונות

    יצירת רשת תלת ממדית של מוצר או פריט מצילומים ספורים בסמארטפון.

  • בדיקת זוויות צילום

    הערכת תנוחת המצלמה עבור חוקרים שמשווים שיטות שחזור ראייה ממוחשבת.

  • הכנת מודלים לתצוגה

    בניית טיוטה גאומטרית ראשונית לפרויקטים אישיים בלי למדל מאפס.

איפה זה נופל

ההדגמה מיועדת לעצמים בודדים ואינה מתאימה לסריקת סביבות שלמות או חללים פנימיים. אם התמונות שצילמתם חופפות מעט מדי או שחסרה תאורה אחידה, השחזור של הרשת יצא שבור ומעוות. מעבר לזה, המפרסמים לא שיתפו דוגמאות מובנות בתיאור, כך שקשה לדעת מראש איך האלגוריתם מתמודד עם משטחים מבריקים או חסרי טקסטורה.

שאלות
נפוצות

האם השימוש ביישום עולה כסף?

השימוש בהדגמה הציבורית פתוח בחינם ישירות דרך הדפדפן. אין כאן מדרגות תשלום או מסלולי מנוי שמופיעים בדף. החיסרון הוא שמשאבי המחשוב מוגבלים לחומרה פשוטה.

כמה זמן לוקח לייצר את המודל?

העיבוד מתבצע על גבי מעבד בסיסי ולא על מאיץ גרפי חזק. בגלל זה פעולת השחזור אינה מיידית ועלולה להימשך מספר דקות לכל סט תמונות. משך הזמן תלוי גם במספר התמונות שהעליתם ובעומס הכללי על השרת.

האם אפשר להשתמש בתוצרים לעסק שלי?

לא, הרישיון שמוגדר בפרויקט הוא cc-by-nc-4.0 שמונע שימוש מסחרי. מותר להשתמש בו לניסויים, ללמידה עצמית או למחקר אקדמי בלבד. כל שימוש אחר דורש אישור מבעלי הזכויות.

האם אפשר להריץ את הכלי על המחשב שלי?

המערכת מבוססת על מכולת דוקר ומודל בשם SpaRP_API. מי שמכיר את התחום ויש לו ידע טכני יכול לנסות להרים אותה מקומית. עם זאת, הדף עצמו מספק רק את ההפניה למאמר בלי מדריך התקנה מלא.

איך משתמשים

נכנסים לממשק בדפדפן ומעלים את התמונות של החפץ כדי להתחיל את העיבוד. היישום רץ על תשתית מעבד בסיסית, מה שאומר שחישובי תלת ממד כבדים ייקחו כאן לא מעט זמן בהשוואה לכרטיס מסך ייעודי. לא מצוין צורך בהרשמה מיוחדת, אבל אם יש עומס על השרת הציבורי תצטרכו להמתין שהתור יתפנה כדי לראות את התוצאה הסופית.

הרישיון

הפרויקט מפורסם תחת רישיון cc-by-nc-4.0. המשמעות היא שאפשר לבדוק את הכלי, להשתמש בו לצרכים פרטיים או למחקר, אך אסור לנצל אותו או את התוצרים למטרות מסחריות ורווח.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗