3DFuse
רץ בדפדפןjyseocc2023-03-16
הכלי מייצר מודלים תלת ממדיים מטקסט או מתמונה שהעליתם. הוא מיועד למי שרוצה לבדוק יצירת תלת ממד מבוססת דיפוזיה ישירות בדפדפן.
- —הורדות בחודש
- 42לייקים
מה זה
אתם מזינים תיאור טקסטואלי ומילת מפתח שהיא שם עצם מתוכו, או מעלים תמונה של אובייקט שלם במבט חזיתי. המערכת מחזירה תצוגה מקדימה של ענן נקודות תלת ממדי ולאחר מכן מייצרת את המודל עצמו. ברירת המחדל בטקסט מדגימה יצירת מיטה, ובמסלול התמונה מוגדר מראש פרומפט לכלב.
מאחורי הקלעים רץ שילוב של מודלי דיפוזיה דו ממדיים כמו Karlo או Stable Diffusion v1.5 יחד עם Point-E ליצירת ענן הנקודות והסרת רקע דרך CarveKit. הקוד כולל אופטימיזציה של וקטורי הטקסט והתאמת LoRA כדי לשמור על עקביות תלת ממדית מכל הזוויות.
מתאים ל
- בדיקת מבנה גיאומטרי מטקסט
יצירת ענן נקודות תלת ממדי ראשוני מתוך תיאור מילולי כדי לבחון נפח לפני הפקה מלאה.
- המרת עצם בודד מתמונה
העלאת צילום חזיתי נקי של חפץ וניסיון להפוך אותו למודל תלת ממדי.
- ניסוי בהגדרות אופטימיזציה
כוונון ידני של צעדי אופטימיזציית טקסט ואימון LoRA בממשק המתקדם.
איפה זה נופל
הכלי אינו מיועד לשחזור מדויק של תמונה בודדת, והיוצרים מציינים במפורש שהוא יתקשה לשמר את הפרטים המקוריים של מה שתעלו. בנוסף, חובה להזין מילת מפתח מדויקת שהיא מילה אחת בלבד ומופיעה בתוך הטקסט, אחרת הממשק זורק שגיאה ועוצר. כרגע המרחב נמצא במצב שגיאת בנייה ולכן אי אפשר להריץ אותו כלל.
שאלות
נפוצות
האם האפליקציה עובדת כרגע בדפדפן?
לא. המרחב מדווח במצב של שגיאת בנייה, כך שאי אפשר לגשת לממשק הגראדיו או להריץ בו פקודות כרגע.
כמה זמן לוקח לייצר מודל?
התהליך מחולק לשני שלבים, יצירת ענן נקודות ולאחריו מאות צעדי אופטימיזציה וכוונון LoRA. החומרה המוגדרת היא מעבד בסיסי בלבד, מה שהיה הופך את הריצה לאיטית ביותר אלמלא שגיאת הבנייה שמונעת אותה לחלוטין.
האם אפשר להריץ את הקוד מקומית?
כן, הקוד מסתמך על ספריות מוכרות כמו PyTorch ו־diffusers יחד עם מודלים זמינים ברשת. תצטרכו מחשב עם מעבד גרפי מתאים כדי להריץ את שרשרת המודלים הכבדה הזו בעצמכם.
איך משתמשים
בוחרים לשונית של טקסט או תמונה, מקלידים מילת מפתח יחידה ולוחצים על הכפתור הראשון ליצירת ענן נקודות. רק אחרי שענן הנקודות מוכן, נפתח הכפתור השני שמייצר את התלת ממד המלא. בעמוד מוגדר מעבד בסיסי בלבד ללא מאיץ גרפי, אבל בפועל יש תקלת בנייה והאפליקציה כלל אינה עולה כרגע בדפדפן.
הרישיון
הפרויקט מפורסם תחת רישיון מסוג cc. הרישיון מאפשר שימוש בהתאם לתנאי ברירת המחדל של היוצר, אך לא צוין פירוט מדויק של גרסת הרישיון או מה המגבלות על שמירת המידע שהעליתם.