חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
T

textcutobject

רץ בדפדפן

fantosmit2024-09-05

  • gradio

הכלי מבודד אובייקטים מתמונות לפי טקסט חופשי או סימון ידני, ומוציא קובץ שקוף. הוא מיועד למי שצריך לחתוך מוצרים או פריטים בלי להתעסק עם פוטושופ.

  • —הורדות בחודש
  • 48לייקים

מה זה

אתם מעלים תמונה ומקבלים קובץ PNG חתוך עם רקע שקוף, שמיושר אוטומטית לגבולות הפריט. יש שתי דרכים לעבוד איתו: כותבים תיאור קצר באנגלית של מה שרוצים לחלץ, או מסמנים תיבה ידנית סביב האובייקט על גבי המסך. בסיום אפשר לראות את התוצאה לצד המקור עם סליידר השוואה.

מאחורי הקלעים רץ שילוב של שני מודלים ועיבוד תמונה משלים. כשמשתמשים בטקסט, המודל Grounding DINO מזהה את מיקום הפריט ומגדיר את הקואורדינטות שלו. לאחר מכן, רכיב Box Segmenter מספריית refiners מייצר את מסיכת החיתוך המדויקת, ואלגוריתם PyMatting מנקה הילות צבע בקצוות כדי לשמור על שיער או שקיפויות.

הממשק כולל ארבע דוגמאות מובנות שממחישות את היכולות: טקסט, עציץ, כיסא ומנורה שחורה. התמונות האלה מראות חיתוך של חפצים עם קווי מתאר מוגדרים היטב.

מתאים ל

  • בידוד מוצרים לחנות

    חיתוך פריטים כמו רהיטים או כלים והסרת הרקע ישירות לקובץ PNG שקוף.

  • הכנת מדבקות ואלמנטים

    חילוץ אובייקטים מתמונות קיימות באמצעות סימון תיבה מהיר כדי לשתול אותם בעיצוב אחר.

  • ניקוי רקע מעצמים מורכבים

    הפרדת חפצים עם פרטים עדינים בקצוות בעזרת אלגוריתם הטיפול בצבע של PyMatting.

איפה זה נופל

הבעיה המרכזית היא שהמרחב מושהה כרגע ולא פעיל, כך שהרצה מיידית פשוט לא תעבוד. בנוסף, זיהוי האובייקטים נשען על Grounding DINO באנגלית, ולכן כתיבה בעברית כנראה תיכשל בזיהוי הפריט. אם המודל לא מוצא התאמה לתיאור, הוא זורק שגיאה ולא מפיק קובץ. מעבר לזה, תמונות בגודל של מעל 2048 פיקסלים עוברות הקטנה אוטומטית, כך שאי אפשר לשמור על רזולוציית מקור גבוהה מאוד.

שאלות
נפוצות

האם השימוש באפליקציה עולה כסף?

לא, השימוש בעמוד פתוח ללא תשלום ואינו דורש הרשמה. עם זאת, המרחב נמצא כרגע במצב מושהה על חומרת מעבד בסיסית. כדי להשתמש בו צריך לשכפל אותו לחשבון אישי או להפעיל אותו מחדש.

מה קורה עם התמונות שמעלים לשם?

התמונות נשלחות לשרת שעליו רץ הממשק ומעובדות באופן זמני בזיכרון המערכת. הקוד שומר קובץ זמני מקומי כדי לאפשר הורדה של התוצאה השקופה. אם מדובר במידע רגיש, עדיף להריץ את הקוד עצמאית על מחשב מקומי.

במה הממשק הזה שונה מלהריץ את המודל לבד?

הכלי מחבר שרשרת שלמה ולא רק מודל בודד. הוא משלב את Grounding DINO לזיהוי יחד עם מודל סגמנטציה נפרד ועיבוד קצוות מתקדם של PyMatting. הרצה ישירה של המודל המקורי הייתה נותנת רק קופסת סימון בלי חיתוך שקוף של הפיקסלים.

אפשר להפעיל את הקוד הזה באופן מקומי?

כן, הקוד מבוסס על ספריות פייתון סטנדרטיות כמו שנאי האגינג פייס וגרדיו, ופורסם ברישיון MIT חופשי. אפשר להוריד את הקבצים ולהריץ אותם על מחשב עם כרטיס מסך מתאים. בסביבה מקומית תצטרכו להתקין גם את חבילות עיבוד התמונה הייעודיות שמופיעות בקוד.

איך משתמשים

גוררים תמונה לאזור ההעלאה, בוחרים לשונית לפי טקסט או לפי תיבה, ומקליקים על כפתור החיתוך. הכפתור נשאר חסום עד שמזינים את כל המידע הנדרש. ברגע שהעיבוד מסתיים, מופיע כפתור הורדה ישיר לקובץ הסופי. אין צורך לפתוח חשבון או להתחבר.

למרות שהקוד מכיל הגדרות לעבודה עם מעבד גרפי של זירו ג'יפיאו, המרחב מוגדר כרגע על חומרת מעבד בסיסית בלבד ונמצא במצב מושהה. זה אומר שאי אפשר להריץ אותו כרגע ישירות בדפדפן בלי להפעיל אותו מחדש.

הרישיון

הקוד פתוח ברישיון MIT, שמאפשר שימוש חופשי כולל שינוי והפצה מסחרית. הקבצים שמעלים מעובדים דרך השרת של הדגמת המרחב, וכל עוד מריצים את זה שם המידע עובר בחומרה המארחת.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗