Sharp
קוד פתוחappleapple-amlr2025-12-12
הפיכת תמונה בודדת לסצנת תלת ממד מלאה בפחות משנייה אחת. במקום תהליכי אופטימיזציה ממושכים, מקבלים ייצוג גאוסיאני מוכן לרינדור מיידי בזמן אמת.
- 2.6 GBמשקל הקבצים
- 2,113הורדות בחודש
- 407לייקים
מה זה
במקום לחכות דקות ארוכות לכל תמונה כמו בשיטות שחזור קודמות, הרשת הזו מבצעת מעבר ישיר יחיד שמייצר פרמטרים של 3D Gaussian Splatting מתוך צילום בודד. התוצאה היא קובץ שמייצג את הסצנה במרחב מטרי אמיתי, מה שמאפשר להזיז מצלמה וירטואלית במרחקים מוגדרים ומדויקים ולא סתם בהערכה יחסית.
היתרון המרכזי כאן הוא המהירות מול האיכות. המפתחים מדווחים על חיתוך זמן העיבוד פי אלף לעומת המודלים המובילים הקודמים, יחד עם ירידה של עשרות אחוזים במדדי שגיאות התמונה LPIPS ו־DISTS. במילים פשוטות, הרינדור של זוויות חדשות חד יותר, שומר על פרטים טוב יותר ועושה את זה כמעט מיידית.
מתאים ל
- הנפשת תמונות סטילס
יצירת סרטוני תנועת מצלמה קצרים מתוך תמונות בודדות בפחות משנייה, תוך שמירה על עומק מדויק.
- ייצור נכסי תלת ממד מהיר
הפקת קובצי PLY בפורמט גאוסיאן ישירות מתמונות מוצר עבור תצוגה אינטראקטיבית ברשת.
- תצוגות מקדימות בעריכה
בדיקה מיידית של זוויות צילום חלופיות בסצנה מתוך פריים בודד בלי להמתין לעיבוד ממושך.
איפה זה נופל
המודל יודע לייצר זוויות צפייה קרובות בלבד לתמונה המקורית. אם תנסו לסובב את המצלמה ב־180 מעלות או להתרחק משמעותית, תקבלו חללים ריקים ועיוותים כי אין לו מידע על מה שנמצא מאחורי העצמים. בנוסף, מוסכמת הצירים מיושרת לפי OpenCV ומרכז הסצנה זז קדימה על ציר העומק, כך ששילוב התוצרים במנועי תלת-ממד אחרים ידרוש כמעט תמיד התאמות של קנה מידה ואיפוס צירים ידני. הרינדור המובנה גם דורש זמן אתחול ממושך בריצה הראשונה.
שאלות
נפוצות
האם אפשר להריץ את הרינדור המלא על מחשבי מק?
יצירת קובצי התלת-ממד עובדת מצוין על מעבדי אפל דרך מאיצי MPS. יחד עם זאת, הפקת סרטוני תנועת המצלמה מתוך הכלי דורשת כרטיס מסך עם CUDA, ולכן במק תצטרכו לקחת את קובץ ה־PLY ולרנדר אותו בתוכנה חיצונית.
מה מקבלים בפועל כפלט מהפקודה?
הפקודה מוציאה קובצי PLY שמכילים נקודות גאוסיאניות תלת-ממדיות לפי ציר OpenCV. הקבצים האלה נתמכים בכל הכלים המודרניים שמציגים 3D Gaussian Splats, אך דורשים איפוס מרכז וקנה מידה בהתאם למנוע היעד שלכם.
איך מריצים
המשקל המרכזי של המודל שוקל כ־2.6 גיגה-בייט, ומריצים אותו דרך שורת הפקודה באמצעות הספרייה ml-sharp. יצירת הגאוסיאנים עצמם והוצאת קובצי ה־PLY עובדת על מעבד רגיל, על כרטיסי אנבידיה ואפילו על מחשבי אפל עם מעבדי אפל סיליקון דרך MPS.
העניין מסתבך אם רוצים שהכלי גם ירנדר סרטון של תנועת מצלמה. אפשרות הרינדור המובנית מבוססת על ספריית gsplat ודורשת כרטיס מסך של אנבידיה עם תמיכת CUDA, כך שמשתמשי מק יישארו כרגע עם קובצי התלת-ממד בלבד ויצטרכו לרנדר אותם במנוע חיצוני.
pip install -U huggingface_hub hf download apple/Sharp
הקבצים
5 קבצים במאגר, 2.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון המוגדר הוא apple-amlr, רישיון המחקר הייעודי של אפל. מדובר ברישיון שמיועד לרוב לשימוש אקדמי, מחקרי ולא מסחרי. מי שבונה מוצר מסחרי לא יכול להטמיע את המשקלים האלה בלי לבדוק משפטית את תנאי הרישיון המדויקים מול אפל.