LucidDreamer-mini

מה זה

אתם מעלים תמונה, מזינים תיאור טקסטואלי, פרומפט שלילי, ובוחרים מסלול תנועה למצלמה. אפשר לשלוט גם בסיד ובמספר צעדי הדיפוזיה. הפלט כולל שלושה קבצים: סרטון צבעוני רגיל, סרטון שמציג את מפת העומק, וקובץ PLY שמכיל את נתוני ה־Gaussian Splatting שנוצרו ומאפשר צפייה תלת ממדית אמיתית.

מאחורי הקלעים הקוד משתמש באלגוריתם LucidDreamer יחד עם מודלים של דיפוזיה ו־Inpainting מבית RunwayML ומודלים נוספים בסגנונות שונים. המערכת בונה מהתמונה ענן נקודות תלת ממדי ומרחיבה אותו בעזרת הדיפוזיה. בממשק ישנן דוגמאות מוכנות מראש של איורי פנטזיה ונוף, כמו בית לצד אגם בסגנון אנימה, שממחישות את סוג הקלט שעובד טוב עם המודלים האלה.

מתאים ל

• ייצוא מודל גאוסיאני

  הורדת קובץ PLY של סצנה מרונדרת לשימוש בתוכנות גרפיקה שתומכות ב־Gaussian Splatting.

• יצירת סרטוני עומק

  הפקת סרטון המציג את מפת העומק של התמונה יחד עם תנועת מצלמה מוגדרת מראש.

• הנפשת תמונות סטילס

  יצירת סרטון וידאו קצר המדמה טיסה או סיבוב מצלמה בתוך איור סטטי.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה בכלל לא עובדת כרגע ונמצאת בסטטוס של שגיאת ריצה. מעבר לזה, המודלים הנוספים שמייצרים סגנונות כמו אנימה או מראה ריאליסטי מנוטרלים בהערה בתוך הקוד, כך שחלק מהאפשרויות שמופיעות בממשק כלל לא נטענות. הדוגמאות מבוססות על איורים מוקפדים מאוד ולא מייצגות תוצאה מתמונה אקראית מהטלפון.

איך משתמשים

התהליך מתחלק לשני שלבים נפרדים או ריצה מלאה בלחיצה אחת. בוחרים את הפרמטרים, לוחצים על כפתור יצירת הגאוסיאנים, ואחר כך על כפתור רינדור הווידאו, או פשוט לוחצים על כפתור ההרצה הכללי. הממשק מזהיר מראש שזה ייקח זמן.

האפליקציה מוגדרת לרוץ על מעבד גרפי t4-small. זהו כרטיס בסיסי מאוד לעיבוד תלת ממד כבד, מה שמבטיח זמני המתנה ארוכים לכל יצירה ורינדור של סרטון. אין צורך בחשבון כדי להסתכל, אבל כרגע האפליקציה נמצאת במצב של שגיאת ריצה ולא זמינה בפועל בדפדפן.

הרישיון

הרישיון הוא cc-by-nc-sa-4.0. המשמעות היא שאין אישור לשימוש מסחרי באלגוריתם או בתוצרים ללא פנייה ליוצרים. בנוסף, חובה לתת קרדיט ולשתף תחת תנאים זהים, כאשר המפתחים מציינים מפורשות שהם אינם בעלי הזכויות על המודלים הבסיסיים או על האיורים שבדוגמאות.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗