TripoSR — הדגמה
קוד פתוחstabilityaimit2024-03-02
הופך תמונה דו ממדית אחת למודל תלת ממדי מלא תוך שניות בודדות. מתאים למעצבים ומפתחים שצריכים סקיצות גיאומטריות מהירות בלי לבנות מודל ידנית.
- 1.6 GBמשקל הקבצים
- —הורדות בחודש
- 832לייקים
מה זה
אתם מעלים תמונה בודדת ומקבלים מודל תלת ממדי שאפשר להוריד בקובץ OBJ או GLB. ברקע רצה ארכיטקטורת TSR של Stability AI שמשתמשת במודל dino-vitb16 של פייסבוק לחילוץ מאפיינים חזותיים יחד עם stable-fast-3d, מה שמייצר גיאומטריה וטקסטורה בבת אחת.
הממשק כולל גם הסרת רקע מובנית דרך ספריית rembg ושינוי גודל האובייקט, כדי להכין את התמונה לעיבוד. הדוגמאות שמגיעות עם האפליקציה כבר חתוכות מראש, ולכן ההנחיות בקוד ממליצות לכבות בהן את הסרת הרקע כדי לא לפגוע בתוצאה.
אפשר לשלוט גם ברזולוציית ה־Marching Cubes דרך הממשק. התוצאה המוצגת בתוך הדפדפן היא תצוגה ראשונית בלבד, שממחישה את מבנה האובייקט שנוצר מהתמונה.
מתאים ל
- סקיצות לתלת ממד
יצירת בסיס תלת ממדי ראשוני מתוך איור או תמונה לצורך המשך פיסול ומידול.
- אובייקטים למשחקים
המרת תמונות חפצים פשוטות לקובצי GLB לשימוש בסצנות בדיקה ומנועי משחקים.
- בדיקת היתכנות לעיצוב
הערכה מהירה של נפח וצורה של מוצר מתמונה בודדת לפני תכנון מפורט.
איפה זה נופל
אם מייצאים קובץ OBJ, הוא מתקבל הפוך בגלל ציר הגיאומטריה ודורש היפוך ידני בתוכנת תלת ממד, או הורדה של קובץ GLB במקומו. בנוסף, התצוגה של קובץ ה־GLB בתוך הדפדפן חשוכה יחסית לתוצאה האמיתית, וחייבים להוריד את הקובץ למחשב כדי לראות את הצבעים הנכונים. הדוגמאות המוכנות מראש עברו עיבוד מוקדם ומציגות מקרים אידיאליים, בעוד שתמונות אמיתיות עם רקע מורכב עלולות להיחתך בצורה מרושלת על ידי מנגנון הסרת הרקע.
שאלות
נפוצות
האם השימוש באפליקציה הזאת כרוך בתשלום?
הגישה דרך הדפדפן פתוחה וחינמית לחלוטין. אין צורך לשלם על זמן הריצה של השרת או לפתוח מנוי. כל עוד המרחב פעיל, אפשר להשתמש בו ללא הגבלת ניסיונות.
מה קורה עם התמונות שמעלים לכאן?
התמונה מועברת לשרת שמריץ את הממשק כדי לבצע את חיתוך הרקע והיצירה התלת ממדית. הקוד שומר אותה באופן זמני בספריית קבצים ייעודית לצורך התהליך. אם מדובר בתמונות סודיות או רגישות, עדיף להריץ את המודל באופן מקומי.
כמה זמן לוקח לייצר מודל בודד?
העיבוד מתבצע תוך שניות בודדות תודות לחומרת ה־A10G שמוקצית לפעולה. עם זאת, ייתכן עיכוב קצר אם השרת נמצא במצב שינה וצריך לעלות מחדש. זמני ההמתנה תלויים גם בעומס על המערכת באותו רגע.
האם אפשר להוריד את הקוד ולהריץ אותו על המחשב?
כן, רישיון MIT מאפשר להוריד את הקוד ולהשתמש בו בחופשיות. תצטרכו כרטיס מסך ייעודי ותמיכה בספריות התלויות כמו PyTorch. הרצה מקומית מסירה תלות בחיבור לרשת או במגבלות הממשק.
איך מריצים
טוענים תמונה, מחליטים אם לסמן הסרת רקע, מכוונים את יחס האובייקט והרזולוציה ולוחצים על Generate. העיבוד רץ על גבי חומרת zero-a10g שמקצה כרטיס מסך של אנבידיה לפי דרישה, מה שמאפשר יצירת מודל תוך שניות ספורות מרגע שליחת הבקשה. אין צורך בהרשמה או התחברות כדי להפעיל את ההדגמה, והדוגמאות המוכנות מראש נטענות מהר בזכות שמירה בזיכרון מטמון.
pip install -U huggingface_hub hf download stabilityai/TripoSR
הקבצים
6 קבצים במאגר, 1.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הקוד והמודל מפורסמים תחת רישיון MIT, שמאפשר שימוש חופשי, העתקה, שינוי ושילוב בפרויקטים מסחריים. התמונות שאתם מעלים מעובדות בשרת Hugging Face בזמן הריצה כדי לייצר את המודלים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש