חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
S

splatter_image

רץ בדפדפן

szymanowiczsmit2024-04-08

  • gradio

הופך תמונה בודדת של חפץ למודל תלת מימדי באמצעות גאוסיאן ספלאטינג. הכלי מתאים למעצבים ומפתחים שרוצים לבדוק שחזור גיאומטרי מהיר ישירות בדפדפן.

  • —הורדות בחודש
  • 59לייקים

מה זה

אתם מעלים תמונה בודדת של אובייקט, והממשק מעביר אותה דרך רכיב rembg להסרת הרקע במידת הצורך. לאחר מכן המערכת מציגה לצד התמונה המקורית את הגרסה המעובדת ללא הרקע, כדי שתוכלו לראות מה בדיוק נכנס לחישוב.

מאחורי הקלעים רץ המודל szymanowiczs/splatter-image-v1 המבוסס על Gaussian Splatting. במקום לבנות רשת פוליגונים רגילה, הוא חוזה ענן נקודות גאוסיאני שמייצר ייצוג נפחי של החפץ מתוך נקודת המבט הבודדת. התוצאה מוצגת לצפייה ישירה ברכיב Model3D מובנה בתוך הדפדפן.

הממשק כולל עשר דוגמאות מובנות להרצה מהירה, ביניהן המבורגר, ברז כיבוי, דמות מצוירת, תרמיל גב, עוגת שוקולד וקומקום תה. הדוגמאות מראות שהכלי מכוון לחפצים מבודדים וברורים על רקע פשוט, ולא לסצנות שלמות.

מתאים ל

  • בדיקת שחזור מחפץ בודד

    מעלים תצלום של מוצר או פריט מבודד ובודקים איך גאוסיאן ספלאטינג מתמודד עם השלמת הצד הנסתר.

  • הערכת ביצועי המודל

    מריצים את עשר תמונות המבחן המובנות כדי להבין את רמת הדיוק של splatter-image-v1.

  • הסרת רקע ובחינת קלט

    בודקים כיצד אלגוריתם rembg מבודד חפצים שונים לקראת הזנה למנועי תלת מימד.

איפה זה נופל

הכלי מיועד אך ורק לאובייקטים בודדים ומוגדרים, כך שסצנות מורכבות, חללים פנימיים או תמונות מרובות פרטים ייכשלו או ייצרו עיוותים קשים. אם לא תעלו תמונה, תקבלו שגיאה ישירה בממשק.

חלק ניכר מהצלחת השחזור תלוי באיכות הסרת הרקע האוטומטית של rembg. אם האובייקט שלכם נחתך בצורה גרועה בתמונה המעובדת, המודל התלת מימדי יקבל גיאומטריה פגומה עוד לפני שהתחיל לחשב את העומק.

שאלות
נפוצות

האם השימוש בממשק עולה כסף?

לא, השימוש בדפדפן פתוח לחלוטין ללא תשלום. אין צורך להזין פרטי אשראי או לפתוח חשבון כדי לבדוק את הדוגמאות או להעלות תמונה משלכם.

כמה זמן לוקח לייצר את המודל?

החישוב מתבצע תוך שניות בודדות על גבי מעבד גרפי A10G. עם זאת, מכיוון שהדוגמאות אינן נשמרות במטמון, תיתכן המתנה קצרה נוספת אם יש תור משתמשים באותו רגע.

מה קורה לתמונות שאני מעלה?

הקבצים נשלחים לעיבוד ישיר בשרת כדי לייצר את המודל התלת מימדי. הממשק אינו כולל מנגנון שמירה או ניהול קבצים אישי, אך המידע עובר דרך שרתי האחסון של השירות.

האם אפשר להריץ את הכלי על המחשב?

כן, הפרויקט מבוסס על רישיון MIT ומשתמש בספריות פתוחות כמו torch ו־gradio. המשקלים של splatter-image-v1 זמינים להורדה, כך שתוכלו להתקין את הסביבה ולהריץ אותה מקומית עם כרטיס מסך תואם.

איך משתמשים

לוחצים על תמונת דוגמה או מעלים קובץ משלכם, מסמנים אם לנקות את הרקע אוטומטית, ולוחצים על כפתור ההפקה. אין צורך בהרשמה או התחברות לחשבון כדי להריץ.

הקוד רץ על חומרת zero-a10g שמקצה כרטיס גרפי לפי דרישה. העיבוד עצמו מהיר מאוד ברגע שהשרת חם, אך מאחר שרכיב הדוגמאות אינו נשמר מראש במטמון ייתכן שתמתינו כמה שניות לתור הריצה כשנוצר עומס משתמשים.

הרישיון

הקוד מופץ תחת רישיון MIT, המאפשר שימוש חופשי כולל שינוי, הפצה ומסחור. הנתונים שאתם מעלים והתוצרים שנוצרים מעובדים דרך השרתים שמארחים את הממשק, בהתאם לתנאי השימוש הרגילים של שירות האחסון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗