marigold-e2e-ft-depth

מה זה

מעלים קובץ תמונה, בוחרים רזולוציית עיבוד ברדיו ולוחצים על הכפתור. בצד השני מופיע סליידר להשוואה חזותית בין המקור לעומק, לצד קישורים להורדת התוצאה כקובץ PNG של 16 ביט או מערך נתונים גולמי בסיומת npy.

מתחת למכסה המנוע רץ צינור Marigold עם מודל שעבר כוונון מקצה לקצה. הקוד טוען ארכיטקטורת דיפוזיה מלאה של Diffusers שכוללת UNet, מקודד VAE, מתזמן DDIM ומודל טקסט של CLIP, כולם נשלפים מתוך משקלי המודל הייעודיים. בממשק יש גם תיקיית דוגמאות מובנות מראש לבדיקה מהירה.

מתאים ל

• הפקת מפות עומק לתלת מימד

  יצירת קובצי 16 ביט ומערכי npy מתמונות קיימות לצורך בניית מודלים או שכבות תלת מימד בתוכנות גרפיקה.

• בדיקת איכות לכוונון מודלים

  הערכה חזותית מהירה של דיוק הפיקסלים בגרסה המכווננת של Marigold לפני שמשלבים אותה בקוד עצמאי.

• השוואת עומק אינטראקטיבית

  בחינת ההפרדה בין חזית לרקע בעזרת סליידר השוואה על תמונות אישיות או דוגמאות מוכנות.

איפה זה נופל

ההדגמה הזו מציגה תמונה בודדת בלבד ואינה מתאימה לעיבוד וידאו או לאצוות קבצים. בנוסף, הדוגמאות לא נשמרות במטמון ומחושבות מחדש בכל לחיצה, ומכיוון שמדובר במודל דיפוזיה, זמן החישוב ארוך משמעותית בהשוואה לרשתות עומק ישירות וקלות.

איך משתמשים

גוררים תמונה או בוחרים דוגמה, לוחצים על Compute depth ומחכים. העיבוד משתמש במאיץ מסוג Zero A10G דרך חבילת spaces, כך שהחישוב עצמו על כרטיס המסך מהיר מאוד. אם יש עומס על השרת המשותף, ייתכן שתמתינו כמה שניות בתור להקצאת החומרה, אך אין צורך בחשבון או בהתחברות כדי להריץ.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי וגם מסחרי בקוד ובמשקלים. לגבי התמונות שאתם מעלים, הן נשלחות לעיבוד בשרת המארח של גרדיו ולא נשמרות שם לשימוש עתידי מעבר לזמן הריצה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗