dreamgaussian

מה זה

מעלים תמונה בפורמט PNG עם ערוץ שקיפות, מגדירים זווית גובה משוערת בסליידר שבין 90- ל־90 מעלות, ומקבלים שתי תצוגות תלת ממדיות. התצוגה הראשונה מציגה תוצר ביניים של שלב ראשון, והשנייה מציגה את מודל התלת ממד הסופי שנוצר.

מאחורי הקלעים הקוד מתבסס על מחקר DreamGaussian ומשלב מודלים כמו zero123 וגרסאות שונות של Stable Diffusion יחד עם CLIP. המערכת מחשבת זוויות ראייה חדשות כדי להרכיב נפח מתוך תמונה שטוחה אחת בלבד.

בממשק יש גלריית דוגמאות מוכנות מראש של תמונות PNG מתוך תיקיית הדאטה של הפרויקט, כך שניתן לראות מראש עם אילו סוגי אובייקטים המודל אמור להסתדר.

מתאים ל

• יצירת תלת ממד מתמונה

  המרה של תמונה בודדת עם רקע שקוף למודל תלת ממדי ראשוני לצורכי בדיקה או השראה.

• בחינת יכולות zero123

  התנסות מעשית ביכולת של מודלים גנרטיביים להשלים זוויות נסתרות של חפצים מתמונה אחת.

• שכפול קוד לפיתוח

  בסיס קוד של Gradio ומודלים פתוחים שניתן להעתיק לחשבון אישי כדי לבנות שירות עצמאי.

איפה זה נופל

הבעיה המרכזית היא שהחלל כלל אינו רץ כרגע ומציג שגיאה, כך שלא ניתן לבדוק אותו ישירות ללא שכפול ותיקון עצמאי. מעבר לזה, יצירת תלת ממד מתמונה אחת בלבד מתקשה תמיד עם צדדים נסתרים של האובייקט, והתוצאה תלויה מאוד בזווית הגובה שמזינים באופן ידני. אם התמונה לא כוללת רקע מבודד כראוי, המודל ייצר עיוותים גיאומטריים סביב האובייקט.

איך משתמשים

במצב הנוכחי הממשק תקול ואינו זמין לשימוש ישיר, כיוון שהוא מדווח על שגיאת זמן ריצה בעמוד. כדי להשתמש בו צריך לשכפל את החלל או להמתין שהיוצר יתקן את התקלה בהפעלת השרת.

כשהוא עובד, טוענים תמונה לחלון הקלט או בוחרים דוגמה, משאירים את תיבת עיבוד התמונה מסומנת, ולוחצים על כפתור Generate 3D. העיבוד מבוסס על מעבד גרפי יחיד מסוג L4, שאמור לספק מהירות עבודה סבירה ביחס לחישובים הכבדים של יצירת תלת ממד.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי בקוד, כולל עריכה, הפצה ושימוש מסחרי, בכפוף להשארת הודעת זכויות היוצרים המקורית. עם זאת, יש לזכור שהפרויקט טוען בתוכו משקולות של מודלים חיצוניים כמו Stable Diffusion ו־zero123, ולכל אחד מהם יש תנאי שימוש משלו שצריך לבדוק לפני שלוקחים תוצרים לפרויקט מסחרי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗