GPT
L

LGM-mini

רץ בדפדפן

dylanebertmit2024-02-21

  • gradio

הופך תמונה בודדת למודל תלת מימדי בפורמט גאוסיאנים ישירות בדפדפן. מתאים למי שרוצה לבדוק במהירות איך אובייקט דו מימדי נראה מכל הזוויות.

  • הורדות בחודש
  • 122לייקים

מה זה

אתם מעלים תמונה ומקבלים תצוגה תלת מימדית שמבוססת על Gaussian Splatting. אפשר גם לבחור מספר סיד לשליטה בתוצאה, או פשוט ללחוץ על אחת מדוגמאות המובנות בממשק שנשמרו מראש כדי לראות את היכולות בלי להמתין.

מאחורי הקלעים הקוד מריץ שרשרת של שני שלבים. תחילה מודל מבוסס דיפיוז'ן מייצר זוויות נוספות של התמונה בעזרת מודלים כמו multi-view-diffusion או imagedream, ולאחר מכן מודל LGM של ashawkey משחזר מתוכן את הגאוסיאנים התלת מימדיים על בסיס נתוני אימון ממאגר iso3d.

מתאים ל

  • המחשת תלת מימד מתמונה

    בודקים איך ציור או צילום בודד ייראו מכל הכיוונים בריחוף חופשי.

  • בדיקת יכולות LGM

    מנסים את שילוב המודלים של LGM ישירות בדפדפן בלי להתקין חבילות כבדות.

  • יצירת גאוסיאנים מהירה

    מייצרים אובייקט Gaussian Splatting מרונדר מראש לצפייה אינטראקטיבית.

איפה זה נופל

התוצר הוא ייצוג גאוסיאני ולא רשת פוליגונים רגילה, כך שאי אפשר לייצא אותו ישר לקובץ תלת מימד סטנדרטי להדפסה או למנועי משחקים בלי המרה נפרדת. הדוגמאות השמורות בממשק חושבו מראש ולכן מופיעות מיד, מה שלא משקף את זמן העיבוד האמיתי שתחוו כשתעלו תמונה משלכם.

שאלות
נפוצות

האם השימוש באפליקציה עולה כסף?

לא, הגישה פתוחה וחינמית בדפדפן. היא רצה על תשתית שיתופית עם חומרת ענן מוקצית.

כמה זמן לוקח לייצר מודל?

הדוגמאות המוכנות מוצגות מיד כי הן שמורות במטמון. תמונה חדשה דורשת הפעלה של שני מודלים ברצף על מעבד A10G, וזה לוקח זמן שתלוי גם בתור הפעיל באותו רגע.

האם אפשר להריץ את זה על המחשב?

כן, הקוד מבוסס על ספריות פתוחות כמו diffusers ו־gradio ומופץ ברישיון MIT. כדי להריץ מקומית תצטרכו כרטיס מסך חזק של אנבידיה עם תמיכה בהרחבות כמו xformers.

מה ההבדל בין זה לבין המודל LGM המקורי?

זהו ממשק קל שמחבר בין יצירת זוויות מרובות לבין שחזור התלת מימד בצינור עבודה אחד. הוא מפשט את התהליך לתוך טופס פשוט בלי צורך לכתוב קוד או להגדיר פרמטרים מסובכים.

איך משתמשים

טוענים תמונה לחלון הקלט, משאירים את ערך הסיד על ברירת המחדל 42 או משנים אותו, ולוחצים על Generate. אין צורך בהרשמה או התחברות כדי להתחיל.

העיבוד רץ על תשתית ענן עם מאיץ A10G שמוקצה לפי דרישה דרך ZeroGPU. בגלל שמדובר במשאב משותף, זמן ההמתנה תלוי בעומס הכללי על השרת באותו רגע.

הרישיון

הפרויקט מפורסם ברישיון MIT, שמאפשר שימוש חופשי כמעט לכל מטרה, כולל שימוש מסחרי, העתקה ושינוי קוד. התמונות שאתם מעלים והתוצרים שנוצרים מעובדים בענן של האגינג פייס ונשמרים שם זמנית לצורך הריצה.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗