blip3-grounding-50m
קוד פתוחSalesforceapache-2.02024-08-27
המאגר מחבר בין טקסט למיקום מדויק של עצמים בתוך 50 מיליון תמונות. הוא מיועד למי שמאמן מודלי ראייה ושפה וצריך שהם יבינו איפה כל פרט נמצא בפריים.
- 454הורדות בחודש
- 30לייקים
מה זה
המאגר מכיל כ־50 מיליון רשומות שמקורן בדגימה מתוך Datacomp-1B. במקום תיאורי תמונה כלליים בלבד, שולבו כאן נתוני עיגון חזותי שנוצרו באמצעות מודלים פתוחים לזיהוי ותיוג עצמים. כל תמונה מקבלת תיאור בסיסי ממודל CogVLM, לצד תיאורים מפורטים שמצביעים ישירות על אזורים בתמונה בשלוש רמות שונות, מקואורדינטות מספריות ועד ניסוח טקסטואלי של מיקום כמו הפינה השמאלית העליונה.
המידע מחולק ל־50 קובצי Parquet, שכל אחד מהם שוקל כ־1.5 גיגה-בייט. הרשומות לא כוללות את קובצי התמונה עצמם אלא מזהה ייחודי, כתובת להורדת התמונה, רשימת כתוביות ברמות פירוט שונות, ומטא-דאטה מובנה. המטא-דאטה מפרט את קטגוריית העצם, רמת הביטחון של הזיהוי ותיחום מנורמל בפורמט x1, y1, x2, y2.
מתאים ל
- אימון מודלי ראייה ושפה
לימוד המודל לקשר בין מילים לעצמים ספציפיים ולזהות מיקומים בפריים לפי פקודות טקסט.
- ביאור ביטויים מפנים
פיתוח יכולת להבין ביטויי מיקום מורכבים כמו החפץ שנמצא משמאל לשולחן.
- הערכת מודלי איתור
בדיקת ביצועים של מודלים פתוחים למשימות זיהוי עצמים ותיחום על גבי מיליוני דוגמאות.
איפה זה נופל
החולשה המרכזית היא התלות בקישורים חיצוניים, מה שאומר שחלק ניכר מהתמונות ייעלם מהרשת עם הזמן והשחזור של הדאטהסט המלא בלתי אפשרי. התיוגים והתיחומים נוצרו באופן אוטומטי על ידי מודלים ולא עברו בדיקה אנושית, כך שהם כוללים בהכרח הזיות ואי-דיוקים. בנוסף, כל הטקסט באנגלית בלבד, וסיילספורס מציינת שהמאגר מיועד למחקר בלבד ולא נבדק להתאמה במוצרי קצה או תרחישים רגישים.
שאלות
נפוצות
האם התמונות עצמן נמצאות בתוך המאגר?
לא. הקבצים מכילים רק כתובות אינטרנט להורדה ישירה לצד המטא-דאטה והתיחומים. תצטרכו להוריד את התמונות בעצמכם משרתי המקור.
האם יש במאגר תמיכה בעברית?
אין במאגר עברית בכלל. כל התיאורים, התוויות והקטגוריות מנוסחים באנגלית בלבד, בהתאם לדאטהסט המקורי.
כמה שטח אחסון צריך כדי לעבוד איתו?
קובצי הטקסט והמטא-דאטה לבדם שוקלים בערך 75 גיגה-בייט, בחלוקה ל־50 חלקים של 1.5 גיגה-בייט. אם תחליטו להוריד את כל 50 מיליון התמונות, תצטרכו עשרות טרה-בייט של אחסון מקומי.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
זה בעייתי. הרישיון הטכני הוא Apache 2.0, אבל סיילספורס ציינה בפירוש שהשחרור מיועד למחקר בלבד, והזכויות על התמונות עצמן לא שייכות לה. אימון מוצר מסחרי עלול לחשוף אתכם לתביעות זכויות יוצרים.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה Salesforce/blip3-grounding-50m, או קוראים קבצים בודדים מתיקיית data בעזרת pandas. המאגר פתוח לציבור ללא צורך באישור גישה מראש. הקבצים עצמם תופסים כ־75 גיגה-בייט בפורמט Parquet, אבל הם מכילים רק כתובות URL. המשמעות היא שתצטרכו להקים תשתית עצמאית להורדת 50 מיליון התמונות מהרשת, לטפל בקישורים שבורים ולשמור את הקבצים אצלכם.
from datasets import load_dataset
ds = load_dataset("Salesforce/blip3-grounding-50m")הרישיון
הרישיון הרשמי בעמוד הוא Apache 2.0, שמאפשר שימוש חופשי ושינויים, אך סיילספורס הוסיפה הבהרה שהמאגר משוחרר למטרות מחקר בלבד. הטקסט והמטא-דאטה זמינים, אבל זכויות היוצרים על התמונות עצמן שייכות למי שהעלה אותן במקור. מי שמוריד את התמונות לשימוש מסחרי לוקח על עצמו את הסיכון המשפטי מול בעלי התוכן המקוריים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים