dreamgaussian4d

מה זה

אתם מעלים תמונה בפורמט RGBA או בוחרים מתוך רשימת הדוגמאות המוכנות מראש. הממשק מסיר רקע באמצעות rembg, ומאפשר לקבוע ערכי seed שונים לשלב הווידאו ולשלב התלת ממד. הפלט כולל סרטון מנחה, מודל תלת ממדי ותוצאה סופית של רינדור ארבעה ממדים.

הקוד משלב כמה מודלים כבדים בשרשרת אחת. הוא נשען על Stable Video Diffusion לייצור התנועה, LGM לחלק של התלת ממד, יחד עם MVDream, מודלים מסדרת Zero123 וגרסאות שונות של Stable Diffusion כדי להרכיב את האובייקט והתנועה שלו במרחב.

מתאים ל

• הנפשת תמונות סטילס

  יצירת סרטון קצר מתמונה רגילה בעזרת Stable Video Diffusion כבסיס לתנועה.

• יצירת מודל תלת ממדי

  הפקת ייצוג תלת ממדי מתמונה בודדת באמצעות שילוב של LGM ומודלי פיזור.

• רינדור תלת ממד בתנועה

  חיבור הווידאו והגאומטריה ליצירת אובייקט נע במרחב על בסיס DreamGaussian4D.

איפה זה נופל

הבעיה המיידית היא שהעמוד במצב CONFIG_ERROR, מה שאומר שהוא מושבת כרגע ולא מגיב. מעבר לזה, המודל מחייב תהליך רב שלבי שתלוי בכמה מודלים נפרדים, כך שכל עיוות קטן בווידאו ההתחלתי ימשיך ישירות לתוך התלת ממד. אם אתם צריכים תוצאה מהירה ויציבה, זה לא המקום להסתמך עליו כרגע.

איך משתמשים

טוענים תמונה ולוחצים על הכפתורים לפי הסדר, קודם Generate Video, אחר כך Generate 3D ורק בסוף Generate 4D. אם מדלגים על שלב, הממשק זורק שגיאה מפורשת. הדף עצמו מציין שצריך לרענן אותו לפני כל הרצה חדשה. ההרצה מוגדרת על חומרת zero-a10g שמשתמשת במשאבים לפי דרישה, אבל כרגע העמוד מדווח על מצב שגיאת קונפיגורציה, כך שאי אפשר להריץ אותו ישירות בדפדפן.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי ושינוי הקוד. לגבי התמונות שאתם מעלים או התוצרים שנוצרים, הם כפופים לתנאי השימוש הרגילים של השרת שבו האפליקציה מתארחת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗