ironjr/LucidDreamer
רץ בדפדפןironjrcc-by-nc-sa-4.02023-12-06
הופך תמונה יחידה וטקסט לסצנת תלת ממד מבוססת גאוסיאנים וסרטון מסלול מצלמה. מיועד למי שחוקר יצירת תלת ממד מתמונות ורוצה לבדוק את הטכנולוגיה בדפדפן.
- —הורדות בחודש
- 81לייקים
מה זה
אתם מעלים תמונה, כותבים תיאור חיובי ושלילי, ובוחרים מודל בסיס מתוך רשימה שכוללת גרסאות של סטייבל דיפיוז'ן כמו RealisticVision, RealCartoon או מודל Inpainting של Runway. בנוסף בוחרים מסלול מצלמה ומספר צעדי דיפוזיה.
הפלט כולל סרטון צבע של מעוף המצלמה, סרטון עומק תואם וקובץ PLY של Gaussian Splatting להורדה. בממשק יש דוגמאות מוכנות שכוללות איורים, דמויות ונופים כמו בית אגם באנימה, חורבות ודוג'ה, כדי לראות איך המערך מתמודד עם סגנונות שונים.
מתאים ל
- יצירת סרטון תלת ממד מתמונה
הופך איור או תמונה לסרטון קצר המציג תנועת מצלמה דינמית עם עומק.
- הפקת קובץ גאוסיאנים
מייצר קובץ PLY של Gaussian Splatting לצפייה בתוכנות תלת ממד תומכות.
- בדיקת שילוב מודלי דיפוזיה
בוחן איך סגנונות RealisticVision או RealCartoon מתפקדים ביצירת סצנות נפחיות.
איפה זה נופל
הבעיה המיידית היא שההדגמה שבורה לחלוטין ברמת השרת עקב שגיאת הרצה, כך שאי אפשר להריץ אותה כרגע ישירות בדפדפן. בנוסף, הממשק אינו מיועד לייצור מודלים שלמים מכל זווית אלא ליצירת סצנה סביב תמונה קיימת. אל תצפו לחילוץ רשתות פוליגונים קלאסיות לעריכה, אלא לענן נקודות גאוסיאני בלבד שמרונדר למסלול קבוע מראש.
שאלות
נפוצות
האם האפליקציה עובדת עכשיו בחינם?
הגישה למרחב חופשית וללא תשלום, אך כרגע הוא במצב שגיאת ריצה ולכן לא ניתן להשתמש בו ישירות. כדי להריץ את הכלי צריך לפתוח עותק עצמאי או לחכות שיוצר המרחב יתקן את הקוד. אם מתקנים ומריצים על חומרה בתשלום, יהיו עלויות של שרתי ענן.
כמה זמן לוקח לייצר סצנה?
התהליך דורש שני שלבים כבדים של חישוב גאוסיאנים ורינדור וידאו מלא. על חומרת T4 בסיסית מדובר בהמתנה של מספר דקות לכל הרצה. הממשק עצמו מזהיר מראש שהפעולה עלולה לקחת זמן רב.
האם אפשר להריץ את זה על המחשב האישי?
כן, הקוד הציבורי של הפרויקט זמין באתר המחקר ובמאגרים המקושרים. עם זאת, תצטרכו כרטיס מסך חזק עם מספיק זיכרון כדי לטעון את מודלי הדיפוזיה ואת סביבת העבודה של הגאוסיאנים. התקנת התלויות דורשת ידע טכני בסביבות פייתון ועיבוד תלת ממד.
מה קורה עם התמונות שמעלים?
הקבצים מועברים ישירות לשרת שמריץ את הדגמת ה־Gradio לצורך העיבוד. מאחר שההדגמה רצה על גבי תשתית ציבורית, לא מומלץ להעלות חומרים רגישים או פרטיים. בנוסף, הדוגמאות המוצגות בממשק שייכות ליוצרים שונים שקיבלו קרדיט בדף.
איך משתמשים
לוחצים על כפתור הריצה הכללי או מפעילים בשני שלבים, יצירת הגאוסיאנים ואז רינדור הווידאו. אין צורך בהרשמה או התחברות לחשבון.
בפועל, המרחב נמצא כרגע במצב של תקלת ריצה ולא מגיב. גם כשהוא פעל, הוא הוגדר על חומרת t4-small חלשה יחסית, כך שחישוב סצנת גאוסיאנים ודיפוזיה לקח זמן ממושך והצריך סבלנות רבה.
הרישיון
הרישיון הוא cc-by-nc-sa-4.0 שמתיר שימוש לא מסחרי בלבד ומחייב שיתוף תחת אותם תנאים. יוצרי ההדגמה מבהירים שאינם בעלי הזכויות על המודלים והאיורים שנטענו, ודורשים פנייה ישירה לאישורי שימוש מיוחדים.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא