Apple-Sharp-Image-to-3D-View-Synthesis
רץ בדפדפןgagndeepרישיון לא דווח2025-12-19
הופכים תמונה דו-ממדית בודדת לסצנת תלת-ממד בשיטת Gaussian Splatting ישירות בדפדפן. הכלי מיועד ליוצרים ומפתחים שרוצים לבדוק את המודל של אפל בלי להגדיר סביבת פיתוח.
- —הורדות בחודש
- 129לייקים
מה זה
אתם מעלים תמונה בודדת ומקבלים קובץ PLY של סצנת תלת ממד לצד תצוגה מקדימה בווידאו. הממשק מציג את תנועת המצלמה בתוך הסצנה שנוצרה, ואפשר להוריד את קובץ הנתונים הגולמי לשימוש בתוכנות גרפיקה.
מאחורי הקלעים רץ המודל apple/Sharp שפורסם על ידי חוקרי אפל. המודל חוזה ישירות ייצוג של 3D Gaussian Splats מתוך תמונת קלט סטטית, במקום להסתמך על אופטימיזציה ארוכה של שחזור תלת ממד.
המערכת מגיעה עם דוגמאות מוכנות מראש של תמונות, כך שאפשר להריץ בדיקה מהירה גם בלי להעלות קובץ אישי מהמחשב.
מתאים ל
- בדיקת מודל SHARP
בוחנים את היכולת של המודל של אפל על תמונות שונות לפני שמורידים אותו להתקנה עצמאית.
- הפקת וידאו בתנועה מתמונה
מייצרים סרטון הדמיה קצר עם תנועת מצלמה מתוך תצלום סטטי אחד.
- יצירת קובצי PLY לספלאטס
מפיקים נתוני 3D Gaussian Splatting ראשוניים להמשך עבודה בתוכנות תלת ממד תומכות.
איפה זה נופל
התוצר מבוסס על תמונה אחת בלבד, ולכן אזורים מוסתרים או זוויות חדות מדי ייראו מרוחים ומעוותים. בנוסף, קובץ ה־PLY שנוצר מייצג Gaussian Splats ולא מודל פוליגונלי סטנדרטי כמו OBJ או FBX, מה שדורש תוכנות תומכות ייעודיות כדי לפתוח אותו. הדוגמאות המוכנות מראש מציגות תנאי צילום אופטימליים שלא בהכרח ישקפו תמונות חשוכות או מורכבות.
שאלות
נפוצות
האם הכלי פתוח לשימוש בחינם?
כן, הממשק פתוח לגישה ישירה דרך הדפדפן ללא תשלום. אין צורך בהזנת פרטי אשראי כדי להריץ תמונה ולקבל את התוצאות. אם מנצלים את השרת באופן כבד, זמינות החומרה החינמית עשויה להיות מוגבלת.
כמה זמן לוקח לייצר את התוצאה?
העיבוד מבוצע על מעבד גרפי מסוג A10G, ולכן יצירת הסצנה והווידאו לוקחת בדרך כלל שניות בודדות עד כחצי דקה. אם החומרה כרגע במצב שינה, ייתכן שתצטרכו להמתין עוד קצת עד שהשרת יתעורר. פרמטרים של כמות פריימים גבוהה ישפיעו גם הם על זמן ההמתנה.
האם אפשר להריץ את זה מקומית על המחשב?
הקוד נשען על המודל הציבורי apple/Sharp ועל ספריית Gradio, כך שניתן להוריד את הקבצים ולהריץ אותם מקומית. לשם כך תצטרכו מחשב עם מעבד גרפי חזק של אנבידיה וסביבת פייתון מוגדרת. בלי חומרה מתאימה, ההרצה המקומית תהיה איטית מאוד או לא תפעל כלל.
מה ההבדל בין האפליקציה הזו למודל של אפל?
האפליקציה היא ממשק משתמש שנבנה על ידי משתמש עצמאי בשם gagndeep כדי להדגים את המודל. היא חוסכת את הצורך בכתיבת קוד ומאפשרת לצפות בווידאו ולהוריד קובץ PLY ישירות. המודל עצמו הוא רק המשקולות והאלגוריתם שפותחו באפל, בלי ממשק גרפי מובנה.
איך משתמשים
טוענים תמונה, בוחרים מסלול תנועה של המצלמה, רזולוציית פלט, כמות פריימים בין 24 ל־120 וקצב פריימים לשנייה, ולוחצים על כפתור ההרצה. הממשק רץ על חומרת zero-a10g שמקצה מעבד גרפי לפי דרישה. זמן הריצה המדויק תלוי בעומס, אבל החומרה הזו אמורה לייצר את התוצאה והווידאו תוך שניות בודדות אם השרת כבר ער ולא ממתין להקצאה.
הרישיון
הרישיון של המרחב עצמו לא דווח בעמוד. המשמעות היא שאין הרשאה ברורה ומפורשת לשימוש מסחרי בקוד או בתוצרים, ולכן עדיף להתייחס לכלי כהדגמה טכנולוגית בלבד ולא להסתמך עליו במוצרים מסחריים.