LGM — הדגמה
קוד פתוחashawkeymit2024-02-08
מעלים תמונה או כותבים טקסט ומקבלים מודל תלת-ממדי מלא בפורמט PLY יחד עם סרטון תצוגה. הכלי מיועד ליוצרי תלת-ממד ומפתחים שרוצים לייצר אובייקטים בשיטת Gaussian Splatting ישירות מהדפדפן.
- 415Mפרמטרים
- 4.6 GBמשקל הקבצים
- —הורדות בחודש
- 327לייקים
מה זה
מזינים תמונה יחידה או פרומפט טקסטואלי, ויכולים להוסיף פרומפט שלילי כדי לחתוך עיוותים. הממשק נותן לשלוט גם בזווית הגובה, במספר צעדי ההסקה שמוגדר כברירת מחדל על 30, ובסיד אקראי. התוצאה הסופית מחולקת לשתי לשוניות, באחת מקבלים סרטון סיבוב וקובץ PLY להורדה, ובשנייה תמונות מזוויות שונות.
מאחורי הקלעים רץ שילוב של מספר מודלים. אם בחרתם בטקסט או בתמונה, המערכת משתמשת בצינורות MVDream כדי לייצר תצוגות מכמה זוויות שונות, בעזרת imagedream או mvdream מבוסס SD 2.1. משם, המודל LGM טוען משקולות מסוג model_fp16_fixrot וממיר את התמונות האלו ישירות לענן נקודות תלת-ממדי של גאוסיאנים.
מתאים ל
- יצירת קובצי PLY מתמונות
מעלים תמונת מוצר או דמות ומורידים קובץ 3D Gaussians מוכן לעבודה בתוכנות תלת-ממד חיצוניות.
- הפקת מודלים מטקסט
מקלידים תיאור מילולי ומקבלים מודל גאוסיאני ראשוני בלי צורך למדל ידנית מאפס.
- בדיקת תצוגה מרובת זוויות
צופים ברינדור סיבובי בווידאו ובתמונות מזוויות שונות לפני שמחליטים אם לייצא את הקובץ.
איפה זה נופל
דוגמאות התצוגה המובנות בעמוד אינן נשמרות במטמון, כך שכל בדיקה דורשת חישוב מלא מחדש. בנוסף, חומרת A10G שמוקצית באופן דינמי עלולה להכניס אתכם להמתנה כשהיא מתחילה מאפס. יצירה מתמונה בודדת או מטקסט עדיין נשענת על ניחוש של הצדדים הנסתרים דרך MVDream, ולכן מבנים מורכבים במיוחד עלולים לצאת מעוותים בקובץ ה־PLY הסופי.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הגישה דרך הדפדפן בעמוד פתוחה לגמרי לשימוש חופשי. היא נשענת על משאבי ענן זמינים ב־Hugging Face בלי דרישת תשלום.
כמה זמן לוקח לייצר אובייקט?
התהליך לוקח לרוב בין עשרות שניות לדקות בודדות, תלוי במספר הצעדים שבחרתם ובעומס על כרטיס ה־A10G. אם הכרטיס במצב שינה, ההרצה הראשונה תיקח מעט יותר זמן.
מה קורה עם הקבצים שאני מעלה?
התמונות עוברות עיבוד בזיכרון השרת לצורך יצירת התלת-ממד והסרת הרקע דרך rembg. הקבצים אינם נשמרים במאגר ציבורי קבוע, אך התעבורה רצה על גבי שרתי Hugging Face.
אפשר להריץ את זה על המחשב האישי?
כן, הפרויקט פתוח תחת רישיון MIT והקוד זמין ב־app.py. עם זאת, תצטרכו כרטיס מסך חזק של Nvidia, התקנת ספריות כמו PyTorch ו־xFormers, והורדת המשקולות.
איך מריצים
טוענים תמונה או מקלידים תיאור, מכוונים את הצעדים והזווית אם רוצים, ולוחצים על כפתור Generate. היישום רץ על חומרת Zero-A10G של Hugging Face, מה שאומר שהמעבד הגרפי מתעורר לפי דרישה. יש תור מובנה בגלל השימוש בתורים של Gradio, כך שאם יש עומס תצטרכו להמתין שההרצה הנוכחית תסתיים. אין צורך בהתחברות כדי להתחיל.
pip install -U huggingface_hub hf download ashawkey/LGM
הקבצים
6 קבצים במאגר, 4.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הקוד והמודל מופצים תחת רישיון MIT. הרישיון הזה מתיר שימוש חופשי, כולל שינוי והפצה למטרות מסחריות, בלי הגבלות מיוחדות מלבד שמירת הקרדיט.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש