LucidDreamer

מה זה

מקלידים תיאור טקסטואלי בתיבת הקלט, והמערכת בונה מודל תלת ממדי. מתחת למכסה המנוע מיושם אלגוריתם בשם Interval Score Matching, שמחובר למודל Stable Diffusion ומייצר ייצוג מסוג 3D Gaussian Splatting במקום רשתות NeRF כבדות.

המטרה כאן היא להפיק תוצאות תלת ממד מפורטות ונקיות יותר ממה שהיה נהוג בשיטות זיקוק ציונים קודמות, ישירות מתוך פרומפט קצר. אין פה אפשרויות עריכה ידניות או שליטה במצלמה לפני הריצה, רק טקסט נקי שנשלח לתהליך יצירה חישובי.

מתאים ל

• בדיקת טקסט לתלת ממד

  הקלדת פרומפט באנגלית כדי לראות איך אלגוריתם ISM מתרגם תיאור מילולי למבנה נפחי.

• הערכת Gaussian Splatting

  בחינת איכות התוצרים של גאוסיאנים תלת ממדיים לעומת שיטות ישנות מבוססות רשתות NeRF.

• התרשמות מהמאמר

  התנסות מעשית בשיטה שפורסמה במאמר arXiv:2311.11284 בלי להגדיר סביבת פייתון מקומית.

איפה זה נופל

האפליקציה נמצאת כרגע במצב שינה, מה שאומר שלחיצה עליה תדרוש טעינה מחדש של השרת. בנוסף, חומרת A10G קטנה עלולה להתקשות או לעבוד לאט בהשוואה להרצה מקומית על כרטיס חזק, ולא תקבלו פה ממשק מתקדם לשליטה בפרמטרים של אלגוריתם ה־ISM מעבר לטקסט הבסיסי.

איך משתמשים

נכנסים לעמוד, כותבים פרומפט בתיבת הטקסט ולוחצים על כפתור ההרצה של גרדיו. מכיוון שהאפליקציה במצב שינה ורצה על מעבד גרפי a10g-small דרך ZeroGPU, תצטרכו להמתין כמה רגעים להתעוררות שלה לפני שהעיבוד מתחיל בפועל. יצירת גאוסיאנים דורשת זמן חישוב, כך שזה לא קורה בשבריר שנייה.

הרישיון

הפרויקט מפורסם תחת רישיון MIT. הרישיון חופשי לחלוטין ומאפשר שימוש אישי ומסחרי בקוד, שינוי שלו והפצה מחדש, בכפוף לשמירה על הקרדיט המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗