FreeSplatter
רץ בדפדפןTencentARCapache-2.02024-12-12
הכלי בונה מודל תלת ממדי מסוג Gaussian Splatting מתוך תמונות בודדות בלי צורך בנתוני זווית צילום. הוא מיועד לחוקרים ומפתחי תלת ממד שרוצים לבדוק שחזור מהיר מתמונה.
- —הורדות בחודש
- 77לייקים
מה זה
אתם מעלים תמונה רגילה ומקבלים ייצוג תלת ממדי של האובייקט שמבוסס על Gaussian Splatting. הרעיון המרכזי כאן הוא שאין צורך לדעת מראש מאיזו זווית התמונה צולמה, כי המערכת מעבדת תמונות לא מכוילות ומשחזרת את העומק והמבנה בעצמה.
מאחורי הקלעים הקוד משלב כמה מודלים מובילים כדי להגיע לתוצאה הסופית. להסרת הרקע משתמשים בכלים כמו BiRefNet או RMBG 2.0, ואת זוויות הראייה הנוספות מייצרים בעזרת Hunyuan3D 1 או Zero123 פלוס בגרסאות 1.1 ו 1.2. הממשק מסודר בלשוניות שמאפשרות לבחור בין מנועי התלת ממד השונים האלה כדי להזין את מודל השחזור של FreeSplatter.
מתאים ל
- שחזור אובייקט מתמונה בודדת
יצירת ייצוג תלת ממדי של חפצים בלי לספק זוויות מצלמה או כיול מקדים.
- השוואת מנועי ג'נרוט
בדיקת ההבדלים באיכות השחזור בין Hunyuan3D לבין גרסאות שונות של Zero123.
- הפקת גאוסיאנים לפיתוח
הורדת קובצי תלת ממד להמשך עיבוד במנועי גרפיקה ומחקר עצמאי.
איפה זה נופל
הבעיה המיידית היא שההדגמה שבורה ונמצאת במצב שגיאת ריצה, ולכן אי אפשר לבדוק אותה כרגע ישירות בענן. מעבר לזה, תהליך שמסתמך על שרשור של הסרת רקע, ניחוש זוויות סינתטיות עם מודל דיפוזיה ורק אז שחזור גאוסיאני, נוטה לייצר עיוותים בחלקים האחוריים של החפץ שלא נראו במקור.
שאלות
נפוצות
האם השירות פתוח בחינם?
האפליקציה זמינה ללא תשלום ואינה דורשת מנוי. עם זאת, היא רצה על תשתית שיתופית ולכן כפופה לזמינות המשאבים.
למה האפליקציה לא מגיבה כרגע?
הקוד בענן מדווח על תקלת ריצה ולא מסיים להיטען. עד שהצוות של TencentARC יעדכן את הסקריפט, לא ניתן להפעיל אותה בדפדפן.
אפשר להוריד ולהריץ את הקוד עצמאית?
כן, הקוד והמודלים זמינים תחת רישיון פתוח. תצטרכו מחשב עם מעבד גרפי חזק, סביבת פייתון ותמיכה במודלים הכבדים שהוא טוען ברקע.
מה קורה לתמונות שמעלים לממשק?
הקבצים נשמרים בספריית זיכרון זמנית של ממשק הגרדיו לצורך הריצה. היות ומדובר בחומרה ציבורית בענן, עדיף לא להעלות מידע רגיש.
איך משתמשים
הממשק מבוסס גרדיו וכולל לשונית Image to 3D עם בחירה בין מנועי יצירת הזוויות השונים. מעלים תמונה לאחת הלשוניות, בוחרים באפשרויות הריצה הרצויות ומפעילים את העיבוד. היישום מוגדר לרוץ על חומרת Zero A10G שמשתפת כרטיס גרפי בענן לפי דרישה, מה שאמור לספק כוח עיבוד מתאים בלי צורך בהתקנה מקומית. עם זאת, נכון לעכשיו העמוד מדווח על שגיאת ריצה, כך שהשרת כלל לא עולה בדפדפן ולא ניתן להריץ עליו שום תמונה בפועל עד שהמפתחים יתקנו את התקלה.
הרישיון
הפרויקט מפורסם תחת רישיון apache 2.0 שמתיר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים בכפוף לתנאי הרישיון. הקוד עצמו שומר קבצים בספריית העלאות זמנית, אך כדאי לקחת בחשבון שהעלאת תמונות לשטח ציבורי בענן כפופה לתנאי השימוש הרגילים של השרת.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים