Image-Caption-2-Shap-E

מה זה

התהליך מתבסס על המודל shap-e של חברת openai, לצד רכיב שיודע לחלץ תיאור טקסטואלי מתמונה. לפי הקוד והשם של היישום, אתם מעלים תמונה, מופק עבורה תיאור אוטומטי, והתיאור הזה נשלח ישירות אל מנוע התלת ממד שמייצר את האובייקט הסופי.

בקוד המקור רואים חלוקה לרכיב של text to 3d ומודול טעינה פנימי, כשהממשק כולו נבנה מעל ספריית gradio. המאמר המקושר מהפרויקט מציג את המחקר המקורי מאחורי הטכנולוגיה, שמטרתה ליצור מודלים גמישים מתוך טקסט. מכיוון שהתיאור הראשוני נוצר אוטומטית מהתמונה שלכם, האיכות של המודל שתקבלו תלויה בדיוק של אותו ניסוח ביניים.

מתאים ל

• ניסוי בהמרת תמונה לתלת ממד

  בדיקת היכולת לקבל קובץ תלת ממדי מתוך צילום קיים דרך שרשור מודלים.

• שכפול קוד לפיתוח עצמאי

  לקיחת קוד הפרויקט הפתוח ובניית שרת פרטי עם חומרה מותאמת.

• הערכת ביצועי המודל

  בחינת איכות התוצרים של המודל מול תיאורים שמופקים אוטומטית מתמונות.

איפה זה נופל

הבעיה המרכזית כרגע היא שהעמוד מושהה לגמרי, ולכן אי אפשר לנסות אותו בלחיצת כפתור פשוטה. מעבר לכך, התוצאה תלויה בשני מודלים נפרדים שמשורשרים יחד. אם חילוץ התיאור מהתמונה מפספס פרט קריטי, המודל התלת ממדי ייצר משהו אחר לגמרי, ולא תוכלו לתקן את זה בלי התערבות בטקסט.

איך משתמשים

נכון לעכשיו היישום נמצא במצב מושהה ולא רץ ברשת, כך שלא תוכלו להפעיל אותו ישירות בדפדפן בלי להעיר או לשכפל אותו. כשהוא היה פעיל, הוא רץ על מאיץ גרפי a10g-small שמאפשר עיבוד מהיר יחסית של מודלים כאלה, אך עדיין דורש זמן ריצה בכל פעולה. אם תשכפלו את הפרויקט לחשבון שלכם, תצטרכו להקצות לו חומרה דומה כדי לבדוק אותו בפועל.

הרישיון

הפרויקט מפורסם תחת רישיון mit, שמאפשר שימוש חופשי, העתקה, שינוי ושימוש מסחרי בקוד. לגבי המודלים עצמם והפלט שהם מייצרים, יש לבדוק בנפרד את תנאי השימוש של openai על shap-e.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗