point-e_demo
רץ בדפדפןanzorqרישיון לא דווח2022-12-20
הכלי מייצר ענני נקודות ומודלים תלת-ממדיים מטקסט או מתמונות. הוא מיועד למפתחים שרוצים לבדוק את Point-E של OpenAI בלי להתקין ספריות מקומית.
- —הורדות בחודש
- 130לייקים
מה זה
אתם מזינים תיאור טקסטואלי, מעלים תמונה, או מייצרים תמונה במקום באמצעות שילוב מובנה של Stable Diffusion 1.5 כדי להמיר אותה לאובייקט. הממשק כולל שלוש לשוניות עבודה נפרדות לפי שיטת הקלט, לצד הגדרות מתקדמות שבהן בוחרים גודל מודל, בין base40M לבין base300M, סרגל משקל הנחיה מ־3.0 עד 10.0, וצפיפות רשת מ־16 עד 128 לבניית הרשת.
מאחורי הקלעים רץ הקוד של Point-E מבית OpenAI, המשלב מודל דיפוזיה לענן נקודות, שלב של upsampling, ומודל SDF שהופך את הנקודות למודל תלת-ממדי פוליגוני בעזרת אלגוריתם marching cubes. בסיום התהליך מופיעים על המסך תצוגה גרפית של ענן הנקודות בחלון Plotly ומודל אינטראקטיבי תלת-ממדי. הממשק מחזיר קבצים מוכנים להורדה בשלושה פורמטים: point_cloud.ply, mesh.ply וקובץ 3d_model.obj.
מתאים ל
- המרת תמונות בודדות לתלת-ממד
טעינת תמונה מבודדת על רקע לבן והפקת קובץ obj מהיר לבדיקת מבנה גאומטרי.
- ניסוי מהיר ב־Point-E
בדיקת היכולת של המודלים base40M ו־base300M בלי להגדיר סביבת פייתון מקומית.
- ייצור אובייקטים מטקסט
שילוב יצירת תמונה ב־Stable Diffusion והפיכתה לענן נקודות ורשת פוליגונים.
איפה זה נופל
הבעיה הגדולה ביותר היא שהאפליקציה במצב תקלה ולא מגיבה כרגע ברשת. בנוסף, Point-E מפיק ענני נקודות גסים יחסית ולא מודלים חלקים או מדויקים ברמה של הדפסה מסחרית. הממשק עצמו מציין שתמונות קלט צריכות להיות נטולות צללים ועל רקע לבן כדי לא לייצר עיוותים קשים ברשת הפוליגונים.
שאלות
נפוצות
האם השימוש בחינם?
כן, הצפייה והשימוש בחלל פתוחים ללא תשלום, ואין צורך במנוי כדי לגשת לקוד. יחד עם זאת, אם תרצו לשכפל אותו כדי לתקן את שגיאת ההרצה, תצטרכו להקצות חומרה משלכם בחשבון Hugging Face.
כמה זמן לוקח לייצר מודל?
בתנאי עבודה רגילים על גבי כרטיס T4-small, פעולת המודל והמרת הרשת נמשכות כמה עשרות שניות. עם זאת, כרגע הדף מושבת בשל שגיאת ריצה ולכן לא ניתן למדוד זמנים חיים.
מה מקבלים בסוף התהליך?
בסיום מקבלים תצוגה מקדימה בדפדפן וקישור להורדת שלושה קבצים: קובץ רשת בפורמט obj, קובץ רשת בפורמט ply, וקובץ ענן נקודות ply. ניתן לפתוח אותם בתוכנות עריכה תלת-ממדיות חיצוניות.
האם אפשר להריץ את זה מקומית?
כן, הקוד מבוסס על ספריות פייתון סטנדרטיות ועל המאגר הפתוח של OpenAI. אם יש לכם מחשב עם כרטיס מסך מתאים, תוכלו להוריד את קובץ האפליקציה ולהריץ אותו ישירות אצלכם.
איך משתמשים
בוחרים לשונית, מקלידים הנחיה או מעלים תמונה ולוחצים Generate. אם בחרתם במסלול של תמונה מטקסט, לוחצים קודם לייצר תמונה ורק אז מפעילים את ההמרה לתלת-ממד. העבודה מתבצעת על כרטיס T4-small, אבל נכון לעכשיו העמוד מדווח על שגיאת זמן ריצה (RUNTIME_ERROR), כך שהשרת לא פעיל בדפדפן. כדי להריץ את הקוד צריך לשכפל את החלל לחשבון פרטי או להוריד אותו להרצה עצמאית.
הרישיון
הרישיון של החלל לא דווח. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד הממשק או בתוצרים, ויש לבדוק את תנאי הרישיון המקוריים של OpenAI ושל Stable Diffusion לפני כל שימוש כזה.