modnet

מה זה

מדובר בהמרה של MODNet לפורמט שרץ ישירות דרך ספריית transformers.js של האגינג פייס. התפקיד שלו הוא בידוד פורטרטים של בני אדם, מה שנקרא portrait matting, ויצירת מסיכת שקיפות מדויקת. הוא פועל בשיטת trimap-free, כלומר אתם זורקים אליו תמונה רגילה ומקבלים מסיכה, בלי צורך לסמן ידנית מראש איפה נמצא הרקע ואיפה האדם.

היתרון המרכזי כאן הוא לא דיוק עיוור שמנצח מודלי ענק, אלא הנגישות בתוך סביבת ג'אווהסקריפט. הקבצים שוקלים 105 מגה-בייט בסך הכול, כך שכל העסק נטען בקלות יחסית ומאפשר לחתוך רקעים מקומית בצד הלקוח. המודל פולט ערוץ אלפא שמפריד בין השיער והגוף לבין הסביבה, מה שמתאים לעיבוד תמונות מהיר בלי להרים תשתית פייתון כבדה.

מתאים ל

• הסרת רקע בצד לקוח

  מחיקת רקע מתמונות פרופיל ישירות בדפדפן, בלי לשלוח את המידע לשרת חיצוני.

• עיבוד תמונות ב־Node.js

  יצירת מסיכות אלפא לתמונות אנשים בסביבת ג'אווהסקריפט נקייה בלי להתקין פייתון.

• עריכת תמונות לקנבס

  טעינה מהירה של פלט המסיכה ישירות לתוך אלמנט canvas לעריכה גרפית מיידית.

איפה זה נופל

המודל אומן ספציפית על צילומי אנשים. אם תנסו לבודד חפצים, חיות מחמד, רהיטים או מוצרים לחנות אונליין, הוא כנראה ייכשל לחלוטין או ייצר מסיכות חלקיות ומקוטעות. מעבר לזה, הכרטיס מציג מימוש בסיסי עם משקלי fp32, מה שאומר שבדפדפנים על מכשירים ניידים חלשים הורדה של מאה מגה-בייט עדיין תרגיש כבדה ותדרוש בדיקת ביצועים מעמיקה.

איך מריצים

מתקינים את ספריית transformers.js דרך npm וטוענים את המודל ישירות לפייפליין background-removal עם הגדרת fp32. אפשר לחלופין לעבוד עם AutoModel ו־AutoProcessor כדי לעבד את הפיקסלים ידנית ולשמור את המסיכה כקובץ, להעביר אותה לאלמנט קנבס או להוציא Blob בדפדפן.

אין פה צורך בכרטיסי מסך יקרים של שרתים כדי לקבל תוצאה. משקל של 105 מגה-בייט רץ חלק על מעבדים רגילים או במחשבי קצה. אם אתם בונים שירות שמעבד אלפי תמונות בשנייה בקצב תעשייתי, עדיף להעביר את זה לחוות שרתים עם מודל כבד, אבל לשימוש מקומי זה פתרון פשוט מאוד.

pip install -U huggingface_hub
hf download Xenova/modnet

הקבצים

12 קבצים במאגר, 105 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• onnx/model.onnx25.9 MB
• onnx/model_q4.onnx23.1 MB
• onnx/model_bnb4.onnx23.1 MB
• onnx/model_fp16.onnx13.0 MB
• onnx/model_q4f16.onnx11.8 MB
• onnx/model_quantized.onnx6.6 MB
• onnx/model_uint8.onnx6.6 MB
• README.md2.8 KB
• .gitattributes1.5 KB
• quantize_config.json718 B
• preprocessor_config.json365 B
• config.json83 B

הרישיון

רישיון apache-2.0 מאפשר שימוש מסחרי מלא וחופשי. אתם יכולים לשלב אותו במוצרים פרטיים, לשנות אותו ולהפיץ אותו, כל עוד אתם שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗