GPT
הוספת כלי
G

grounding-dino-base

קוד פתוח

IDEA-Researchapache-2.02023-09-25

  • transformers
  • pytorch
  • safetensors
  • grounding-dino
  • zero-shot-object-detection

זיהוי אובייקטים פתוח בלי לאמן מודל מאפס. כותבים בטקסט חופשי מה מחפשים בתמונה, ומקבלים מיקום מדויק של תיחום האובייקט.

  • 233Mפרמטרים
  • 1.7 GBמשקל הקבצים
  • 1,652,763הורדות בחודש
  • 206לייקים

מה זה

זהו מודל לזיהוי אובייקטים מסוג zero shot שמחבר בין ראייה ממוחשבת לטקסט. במקום להגביל אתכם לרשימה סגורה וקבועה של קטגוריות כמו במודלי זיהוי ישנים, הוא כולל רכיב קידוד טקסט ומחפש בתמונה כל מה שתתארו במילים, ישר מהקופסה וללא צורך בדאטה מתויג מראש.

עם 233 מיליון פרמטרים ומשקל קבצים של 1.7 גיגה בייט, הוא מגיע לרמת דיוק של 52.5 נקודות מדד AP על סט הנתונים של COCO בלי שהתאמן עליו ישירות. זה אומר שבפועל אפשר לזרוק עליו מטרות מגוונות בשפה טבעית והוא עדיין יזהה ויתחם אותן באמינות גבוהה למדי, תחום שבו מודלים קלאסיים נכשלים לחלוטין אם העצם לא הופיע באימון המקורי שלהם.

מתאים ל

  • איתור עצמים נדירים

    זיהוי פריטים שלא קיימים במאגרי אימון סטנדרטיים, ישירות מתוך תיאור טקסטואלי.

  • תיוג דאטה אוטומטי

    סימון תיבות תוחמות על מאגרי תמונות גדולים בלי לבזבז זמן על תיוג ידני.

  • חיפוש חופשי בווידאו

    מעקב ואיתור של אלמנטים משתנים בפריימים לפי הגדרות טקסט של המשתמש.

איפה זה נופל

כרטיס המודל הרשמי דל במיוחד בפרטים, הוא לא מפרט תקלות ידועות, כשלים מובנים או מגבלות בטיחות והטיה. אתם תצטרכו לבדוק בעצמכם איך הוא מתמודד עם תיאורים ארוכים או מורכבים, חפיפות בין עצמים ותמונות בתאורה קשה לפני שאתם מסתמכים עליו בפרודקשן.

שאלות
נפוצות

האם המודל מוגבל לרשימת קטגוריות ספציפית?

לא, הוא בנוי לזיהוי בעולם פתוח. המודל מחבר טקסט חופשי לראייה ממוחשבת, כך שניתן לחפש כל עצם שתתארו במילים בלי לאמן אותו מחדש על קטגוריה חדשה.

איזו חומרה צריך כדי להריץ אותו בפועל?

המודל שוקל 1.7 גיגה בייט ומכיל כ־233 מיליון פרמטרים. כל כרטיס מסך מודרני עם כמה גיגה בייט בודדים של זיכרון יספיק להרצה מקומית חלקה.

איך מריצים

המודל נתמך ישירות בספריית transformers הרגילה תחת הארכיטקטורה GroundingDinoForObjectDetection, כך שאין צורך להסתבך עם קוד מותאם אישית כדי להעלות אותו. עם משקל של 1.7 גיגה בייט בדיוק float32, הוא קל מאוד וירוץ בלי בעיה גם על כרטיס מסך ביתי בסיסי או בזיכרון של שרת צנוע.

בגלל הגודל הקומפקטי שלו, כמעט אין הצדקה לשלם לספקי צד שלישי על API יקר לפי קריאה, אלא אם אתם לא מחזיקים תשתית שרתים בכלל. תרימו אותו על שרת ייעודי משלכם ותקבלו שליטה מלאה בזמני התגובה ובעלויות.

from transformers import pipeline

pipe = pipeline("zero-shot-object-detection", model="IDEA-Research/grounding-dino-base")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 1.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון apache-2.0 הוא רישיון קוד פתוח מתירני ונוח. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצר שלכם ולהפיץ אותו, כל עוד שומרים על הודעות זכויות היוצרים והרישיון המקוריות ומציינים שינויים אם נעשו כאלה.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗