Flickr-Geo
קוד פתוחdo-meodc-by2025-02-21
מאגר ענק של תמונות מתויגות מיקום גאוגרפי שנשלפו מתוך פליקר. מעל מאתיים מיליון רשומות שמחברות בין נתוני קואורדינטות לקבצי תמונה ולמטא דאטה נלווה.
- 888הורדות בחודש
- 26לייקים
מה זה
המאגר מבוסס על סריקה רחבה בהרבה של פליקר שכללה במקור כחמישה מיליארד תמונות. היוצר לקח את המאגר הגולמי ההוא וסינן מתוכו רק את השורות שכוללות צמד תקין של קווי רוחב ואורך, כך שנותרו 217,646,487 רשומות עם מיקום גאוגרפי מוגדר.
כל רשומה מייצגת תמונה אחת ומכילה קישורים לקובצי התמונה ברזולוציות שונות, יחד עם מטא דאטה הכולל רישיון מקורי, תאריכים, תיאורים ונתוני מצלמה. המידע מחולק לאלפי קובצי פארקט נפרדים ומסודר כטבלה גדולה, ללא קובצי התמונה עצמם בתוך המאגר, אלא רק הקישורים אליהם והנתונים היבשים שנאספו בעת הסריקה.
מתאים ל
- אימון מודלים לחיזוי מיקום
חיבור תמונות לקואורדינטות מאפשר לאמן מודלים שמשערכים מיקום גאוגרפי של תצלום לפי המאפיינים הוויזואליים שלו.
- מחקר גאוגרפי ודפוסי צילום
ניתוח צפיפות ומיקומים של צילומים ברחבי העולם לצורך חקר תיירות, נוף ותפוצה של נקודות עניין.
- הערכת מודלי שפה ותמונה
בדיקת יכולת המודל לייצר תיאורים תואמי אזור או להפיק תמונות מותאמות לסביבה גאוגרפית מסוימת לפי טקסט.
איפה זה נופל
הנתונים נשענים על דיווחי משתמשים בפליקר, מה שיוצר הטיה גאוגרפית כבדה לאזורים מתויירים ומדינות מערביות. הדיוק של הקואורדינטות תלוי במכשירי הקצה של המשתמשים או בבחירה ידנית, כך שחלק ניכר עלול להיות לא מדויק. בנוסף, המאגר מספק קישורים בלבד. קישורים ברשת נשברים, תמונות נמחקות מהמקור, ואין ערובה שהתמונות עדיין זמינות להורדה היום או שיש בהן ייצוג הולם לטקסט בעברית.
שאלות
נפוצות
האם המאגר כולל את התמונות עצמן להורדה מיידית?
לא, המאגר מכיל רק קובצי פארקט עם טקסט, קואורדינטות וקישורים לתמונות ברשת. תצטרכו לכתוב תהליך שמוריד את התמונות בעצמכם משרתי פליקר לפי הכתובות המצורפות.
האם מותר להשתמש במידע הזה במוצר מסחרי?
רישיון הדאטהסט מאפשר שימוש מסחרי תחת מתן קרדיט מתאים. יחד עם זאת, כל תמונה ספציפית בפליקר כפופה לרישיון המקורי של הצלם, שמופיע בשדה הרישיון בכל שורה, וחובה לבדוק אותו לפני שימוש ישיר בתמונה.
האם יש במאגר ייצוג למקומות בישראל וטקסט בעברית?
המאגר עולמי ומבוסס קואורדינטות, כך שיש בו נקודות שמכסות את ישראל. עם זאת, שפת התיאורים תלויה במה שהעלו המשתמשים המקוריים, ורוב התוכן נוטה לאנגלית ולשפות אירופיות.
מה ההבדל בינו לבין המאגר שממנו הוא נוצר?
המאגר המקורי הכיל כחמישה מיליארד רשומות של תמונות מכל הסוגים. בגרסה הזו סוננו החוצה כל הרשומות שלא כללו קואורדינטות גאוגרפיות מאומתות, ונשארו רק 217 מיליון רשומות ממוקמות.
איך טוענים
הנתונים יושבים בפורמט פארקט ומחולקים לתוך 5,152 קבצים שונים. אין צורך באישור גישה מיוחד כדי להוריד או לתשאל אותם. כדי לעבוד איתם ביעילות מומלץ להשתמש בכלים כמו DuckDB שמאפשרים לבצע שאילתות ישירות על הקבצים, תוך סינון לפי שדות קווי הרוחב והאורך מבלי לטעון את כל הנפח לזיכרון. קחו בחשבון שהורדה מלאה של כל הקבצים עשויה להימשך שעות רבות עקב ניתוקים אפשריים מול השרתים.
from datasets import load_dataset
ds = load_dataset("do-me/Flickr-Geo")הרישיון
המאגר מופץ תחת רישיון ODC-By. מותר להשתמש בו לצרכים מחקריים ומסחריים, כולל אימון מודלים, בתנאי שנותנים קרדיט מלא למקור כפי שנדרש. הרישיון לא מחייב לשתף את התוצרים באותו רישיון, אך יש לשים לב שהתמונות עצמן ברשת מחזיקות ברישיונות מקוריים שונים המפורטים במטא דאטה של כל שורה.