SceneDreamer — הדגמה
קוד פתוחFrozenBurningother2023-04-06
הדגמה שמייצרת נופי תלת מימד ומפיקה מהם סרטוני מעבר מצלמה לפי מפות גבהים וסמנטיקה. מתאים למי שרוצה לבחון יצירת סביבות טבעיות ממוחשבות ישירות מתוך הדפדפן.
- 339 MBמשקל הקבצים
- —הורדות בחודש
- 67לייקים
מה זה
הממשק מבוסס על המודל של SceneDreamer ומשתמש בספריית imaginaire של אנווידיה. אתם עובדים עם מפת סמנטיקה ומפת גבהים, שמוצגות כברירת מחדל מתוך קבצי דוגמה קיימים, ומגדירים פרמטרים של רזולוציה, סיד וכמות פריימים. הפלט הסופי הוא וידאו שמציג מסלול תנועה בתוך הנוף שנוצר.
בקוד רואים כפתור אחד שמייצר מפת מבט על וכפתור נוסף שמרנדר את הסרטון בפועל. ברירות המחדל מוגדרות לרזולוציה נמוכה יחסית של 270 על 480 פיקסלים עם עשרים פריימים, כנראה כדי לא לחנוק את השרת ברינדור ממושך.
מתאים ל
- בדיקת הדמיות נוף
ניסוי מהיר ביצירת סרטוני מסלול בנופים תלת מימדיים מתוך קבצי מפות גובה וצבע קיימים.
- הערכת ביצועי מודל
בחינת יכולות המידול של SceneDreamer וספריית imaginaire לפני שמורידים ומגדירים אותם עצמאית.
- הפקת וידאו לסביבות וירטואליות
רינדור קטעי תנועה קצרים ברזולוציות מותאמות אישית לשימוש כרקעים או חומרי גלם לפיתוח.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה פשוט לא עובדת ברשת וקורסת עוד בעלייה. בנוסף, רזולוציית ברירת המחדל נמוכה מאוד, והעלאת הערכים לרמות גבוהות יותר יחד עם כמות פריימים של עד מאתיים תדרוש זמן עיבוד כבד שלא בטוח יחזיק בלי ניתוקים.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה עכשיו?
לא, היא נמצאת כרגע במצב של שגיאת ריצה ואינה מגיבה. אפשר לראות את המבנה של הממשק והפקדים, אבל הרצת הפקודות בפועל נכשלת עד שמי שמתחזק אותה יתקן את הבעיה בשרת.
כמה עולה להשתמש בה?
הגישה לממשק עצמו חופשית ואין דרישת תשלום מפורטת. עם זאת, בגלל שהיא שבורה כרגע, אין שום ערך מעשי בזמינות החינמית שלה בדפדפן בלי להריץ את הקוד לבד.
האם ניתן להריץ את הקוד באופן מקומי?
כן, הקוד מבוסס על ספריית imaginaire ומודל SceneDreamer ורץ על פייתון עם פייטארץ'. תצטרכו מחשב עם כרטיס מסך חזק, בדומה למאיץ A10G שמוגדר בפרויקט, ולהתקין את כל התלויות ידנית.
איך מריצים
נכון לעכשיו אי אפשר להריץ אותה בדפדפן כי היא מדווחת על שגיאת ריצה. באופן תיאורטי לוחצים על כפתור יצירת המפה ואז על כפתור הרינדור, כשברקע מוקצה מעבד גרפי מסוג A10G.
בגלל שהדף שבור, הדרך היחידה להשתמש בקוד היא להוריד את הקבצים ולהרים אותם בסביבה מקומית עצמאית עם חומרה מתאימה ותלויות תוכנה מתוקנות.
pip install -U huggingface_hub hf download FrozenBurning/SceneDreamer
הקבצים
5 קבצים במאגר, 339 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון מוגדר ככללי ולא מצוין רישיון פתוח מוכר. לא ידוע מה תנאי השימוש המסחריים או מה המדיניות לגבי קבצים ותוצרים, ולכן לא מומלץ להסתמך על זה לפרויקטים מסחריים.