AS-100M

מה זה

המאגר הזה מהווה חלק מתוך פרויקט AS-1B, והוא מתמקד בזיהוי ובהבנה ויזואלית רחבה. הנתונים כוללים תמונות עם חלוקה לאזורים מוגדרים, כאשר כל אזור מתויג בתגיות סמנטיות, זוגות של שאלות ותשובות, ותיאורים טקסטואליים מפורטים. לפי התיעוד של פרויקט האב, המידע מקיף כ־3.5 מיליון מושגים שונים מהעולם האמיתי, נפוצים ונדירים כאחד, ומתפרס על פני מיליארדי טוקנים שמתארים עצמים ותכונות.

איסוף המידע והתיוג התבצעו באמצעות מנגנון חצי-אוטומטי שמשלב מודלי ראייה ושפה קיימים לצד משוב אנושי. המאגר אינו מחולק לספליטים קלאסיים של אימון ובדיקה בתיעוד הבסיסי, אלא מסודר בשני פורמטים מקבילים: קובצי COCO מסורתיים וקובצי JSONL, כדי שתוכלו לבחור במבנה שנוח לפייפליין הקיים שלכם.

מתאים ל

• אימון מודלי שפה-ראייה

  לימוד קשרים בין אזורים ספציפיים בתמונה לטקסט, שאלות ותשובות ותיאורים מפורטים.

• שליפת אזורים לפי טקסט

  פיתוח מערכות לאיתור אובייקטים ומקטעים מדויקים מתוך תיאור טקסטואלי חופשי.

• מענה לשאלות על תמונות

  שיפור היכולת של מודלים לענות על שאלות מורכבות סביב חלקי תמונה נקודתיים.

איפה זה נופל

התיוגים נוצרו בעזרת מודלי שפה וראייה קיימים עם משוב אנושי, מה שאומר שהטיות והזיות של המודלים המקוריים נכנסו ישירות לדאטה. בנוסף, אין בתיעוד אזכור לתמיכה בשפות שאינן אנגלית, כך שאין כאן עברית כלל. הכרטיס גם לא מפרט את מקור התמונות הגולמיות עצמן, זכויות היוצרים עליהן או סינון תכנים פוגעניים, ולכן חובה לדגום את המידע ידנית לפני שימוש בייצור.

אותה משפחה

AS יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך טוענים

אין צורך בבקשת גישה מיוחדת, ההורדה ישירה דרך Hugging Face. המאגר מפוצל ל־514 קבצים, שכוללים קובצי JSON בפורמט COCO וקובצי JSONL. נקודה קריטית לעיבוד: ייצוג תיחום האובייקטים משתנה לפי הפורמט. ב־COCO הקואורדינטות מופיעות כמבנה של נקודת התחלה, רוחב וגובה, בעוד שב־JSONL המבנה הוא שתי נקודות קצה. שים לב לזה בטעינה כדי למנוע טעויות במיקום התיבות.

from datasets import load_dataset

ds = load_dataset("OpenGVLab/AS-100M")

הרישיון

המאגר מופץ תחת רישיון Apache 2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, ומאפשר לאמן מודלים לכל מטרה. התנאי העיקרי הוא שמירה על הצהרת זכויות היוצרים והרישיון המקורי בקבצים שתפיצו. אין חובה לשתף נגזרות באותו רישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗