TripoSR
קוד פתוחstabilityaimit2024-02-29
הופך תמונה בודדת למודל תלת ממדי מלא תוך שבריר שנייה. פתרון קל משקל שרץ מקומית בלי לחכות לתורים בענן.
- 1.6 GBמשקל הקבצים
- 223,385הורדות בחודש
- 657לייקים
מה זה
מדובר במודל שמייצר אובייקטים בתלת ממד מתוך תמונה יחידה, שפותח בשיתוף פעולה בין Stability AI לבין Tripo AI. הארכיטקטורה שלו מבוססת על רשת LRM עם שיפורים במבנה הנתונים ובאימון, מה שמאפשר לו לייצר תוצאה ישירות במעבר קדימה אחד מהיר במקום בתהליכי אופטימיזציה ממושכים.
האימון נעשה על עיבודים מתוך מאגר Objaverse תוך שימוש בשיטות רינדור מותאמות שמחקות תצלומים אמיתיים. המטרה כאן הייתה לשפר את יכולת ההכללה על תמונות מהעולם האמיתי ולא רק על עצמים סינתטיים מבודדים, אם כי Stability כבר מפנים בעמוד המודל לפיתוח חדש יותר שלהם בשם SF3D.
מתאים ל
- פרוטוטייפינג למשחקים
יצירה זריזה של סקיצות תלת ממדיות מתוך קונספט ארט דו ממדי.
- הדמיות מסחר אלקטרוני
המרת תמונות מוצר שטוחות למודל בסיסי לתצוגה באתר.
- פייפליין מקומי ואופליין
ריצה מלאה על מחשב מקומי בזכות גודל קובץ של 1.6 גיגה בלבד.
איפה זה נופל
הכרטיס מציב מגבלות שימוש ברורות נגד יצירת תוכן פוגעני, מטריד או כזה שמקבע סטריאוטיפים. מעבר לזה, המפתחים עצמם כבר ממליצים לבדוק את המודל החדש יותר SF3D, ומציינים שהוא מהיר יותר ומייצר נכסים שמתאימים יותר למשחקים. זה רמז עבה לכך שהתוצרים של המודל הנוכחי עשויים לדרוש עיבוד ידני נוסף לפני שמשלבים אותם במנוע משחק.
שאלות
נפוצות
האם המודל מתאים לייצור מודלים מוכנים למשחק?
הוא מייצר בסיס תלת ממדי טוב, אך המפתחים מציינים שהמודל המאוחר יותר שלהם, SF3D, מספק נכסים מתאימים יותר למשחקים. לרוב תצטרכו לנקות את הטופולוגיה והטקסטורות לפני שימוש במנוע.
איזה סוג מידע שימש לאימון שלו?
הוא אומן במשך 5 ימים על 22 שרתים עם שמונה כרטיסי A100 כל אחד, תוך שימוש בתת קבוצה ברישיון CC-BY מתוך מאגר Objaverse. התמונות רונדרו בשיטה שנועדה לחקות צילומים מהעולם האמיתי.
איך מריצים
המשקל הכולל של הקבצים עומד על 1.6 גיגה בייט בלבד, מה שאומר שאפשר להריץ אותו מקומית על כמעט כל כרטיס מסך מודרני בלי להסתבך עם שרתים כבדים. קוד המקור המלא והוראות ההרצה יושבים בריפו של VAST AI Research בגיטהאב, ויש גם דמו פעיל בגרדיו לבדיקות מהירות.
אם אתם צריכים לבדוק היתכנות על עשרות תמונות בודדות, אין סיבה להקים תשתית עצמאית כשיש ספייס זמין. ברגע שרוצים לשלב אותו בתוך פייפליין ייצור שמייצר אלפי מודלים או דורש זמני תגובה מובטחים, משקל הקבצים הקטן הופך את ההרצה העצמאית לפשוטה וזולה מאוד לתחזוקה.
pip install -U huggingface_hub hf download stabilityai/TripoSR
הקבצים
6 קבצים במאגר, 1.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
רישיון MIT מלא. אפשר לקחת את הקוד והמשקלים, להטמיע אותם במוצר מסחרי, לשנות אותם או למכור שירותים שמבוססים עליהם. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש