refcoco-m
קוד פתוחmoondreammit2025-11-17
גרסה מנוקה ומדויקת לפיקסל של סט הוולידציה מ־RefCOCO למשימות סגמנטציה לפי טקסט. היא מחליפה מסכות גסות ומסננת ביטויים פוגעניים שהיו בסט המקורי.
- 295הורדות בחודש
- 49לייקים
מה זה
המאגר מבוסס כולו על פיצול הוולידציה UNC של RefCOCO המקורי. היוצרים לקחו את התמונות ואת התיאורים הטקסטואליים הקיימים, אבל בנו מחדש את מסכות הסגמנטציה באמצעות אנסמבל מודלים כדי להגיע לגבולות חדים יותר במקום הפוליגונים הידניים המרושלים מהעבר.
במהלך העבודה נזרקו 47% מהמסכות המקוריות כי איכותן הוגדרה ככזו שלא ניתנת להצלה, וסוננו עוד 46 דוגמאות בגלל שפה פוגענית, קללות או תוכן מיני. התוצאה כוללת 1,190 תמונות, 2,080 מסכות ו־5,598 ביטויי התייחסות. כל רשומה מייצגת תמונה וכוללת את נתוני התמונה הגולמיים, גודל, מזהה, ורשימת דגימות שבהן תמצאו קטגוריה, תיחום, משפטים מפנים ומסכה בפורמט RLE.
מתאים ל
- בנצ'מרק לסגמנטציה טקסטואלית
מדידת ביצועי מודלי שפה-תמונה בזיהוי וחיתוך אובייקטים לפי תיאור טבעי.
- הערכת דיוק גבולות מסכה
בדיקת איכות פיקסלים חדה למודלים מתקדמים, ללא ענישה על חוסר דיוק שמקורו בתיוג ידני ישן.
- בקרת בטיחות בראייה ממוחשבת
בדיקת מודלים על סט נתונים שעבר סינון של טקסט פוגעני, קללות וביטויים מיניים.
איפה זה נופל
זהו סט וולידציה בלבד, בלי נתוני אימון, כך שהוא לא יעזור אם אתם מחפשים לאמן מודל מאפס. השפה היא אנגלית בלבד, ואין כאן שום ייצוג לעברית. בנוסף, בגלל שהסינון הסיר כמעט חצי מהמסכות המקוריות, אי אפשר להשוות תוצאות mIoU מולו ישירות למאמרים ישנים שמדדו ביצועים על RefCOCO המקורי. הנתונים מתבססים על תמונות ישנות מ־COCO 2014, על כל המגבלות וההטיות הוויזואליות שקיימות בהן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
כן, המאגר פורסם ברישיון MIT שמתיר שימוש מסחרי מלא. הדרישה היחידה היא לכלול את תנאי הרישיון והודעת זכויות היוצרים של moondream בעת הפצה.
האם יש במאגר תמיכה בעברית?
לא. כל 5,598 ביטויי ההתייחסות נכתבו באנגלית בלבד. אם המודל שלכם אמור לעבוד בעברית, תצטרכו לתרגם את המשפטים או לבנות סט בדיקה מקומי.
מה ההבדל בין המאגר הזה ל־RefCOCO המקורי?
המאגר המקורי כלל מסכות ידניות גסות וביטויים פוגעניים. כאן יצרו מחדש מסכות מדויקות לפיקסל באמצעות מודלים, זרקו 47% מהמסכות שלא עמדו ברף האיכות, וסיננו 46 דוגמאות לא הולמות.
האם אפשר להשתמש בו לאימון מודלים?
טכנית כן, אבל הוא מכיל רק 1,190 תמונות שמקורן בפיצול הוולידציה. הוא נבנה במקור לשמש כמבחן הערכה מדויק ולא כסט אימון רחב היקף.
איך טוענים
טוענים את הנתונים ישירות מספריות שתומכות בפורמט Parquet, שבו שמורים שני קבצי הוולידציה של המאגר. אין צורך לבקש אישור גישה מיוחד, המאגר פתוח להורדה מיידית. בזמן העיבוד צריך לשים לב לשדה המסיכה שמגיע בקידוד RLE של COCO לצד התמונות הגולמיות שיושבות בתוך מבנה הנתונים עצמו, מה שחוסך התעסקות עם הורדת תמונות בנפרד.
from datasets import load_dataset
ds = load_dataset("moondream/refcoco-m")הרישיון
המאגר מופץ תחת רישיון MIT, שמאפשר שימוש מסחרי, שינוי, והפצה מחדש כמעט בלי מגבלות, למעט שמירה על הודעת זכויות היוצרים המקורית. אין דרישה לשתף תוצרים או מודלים תחת אותו רישיון, ומבחינה משפטית אפשר להשתמש בו בחופשיות לפיתוח מוצרים פנימיים או מסחריים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש