unsplash-25k-photos
קוד פתוחjamescalam2022-08-27
מאגר נתונים מובנה של עשרים וחמישה אלף תצלומי טבע מתוך אנפלאש. הוא מתאים למי שרוצה לאמן מודלי ראייה ממוחשבת או חיפוש טקסט לתמונה בלי להוריד עשרות גיגהבייט של מידע.
- 240הורדות בחודש
- 48לייקים
מה זה
המאגר הזה מייצג עיבוד ספציפי של גרסת הלייט מתוך מאגר הנתונים הרשמי של אנפלאש. הוא שואב נתונים מקובץ יחיד בשם photos.tsv000 ומתמקד בעשרים וחמישה אלף תצלומים שנבחרו סביב נושאי טבע. המידע המקורי של אנפלאש נאסף ממאות אלפי צלמים מרחבי העולם ומבוסס על שאילתות חיפוש ושימושים אמיתיים באתר.
בגרסה המלאה של אנפלאש קיימים מיליוני פריטים, מילות מפתח ונתוני חיפושים, אך כאן מדובר בתת קבוצה מצומצמת וקלה בהרבה. המאגר מכיל רק את טבלת התצלומים עצמה מתוך חבילת הלייט, כשהסקריפט של המפרסם מושך את הנתונים ישירות מהמקור הרשמי של החברה.
מתאים ל
- אימון סיווג תמונות
זיהוי וקטלוג של אלמנטים בנוף ובטבע על בסיס צילומים מקצועיים מגוונים.
- חיפוש טקסט לתמונה
פיתוח מנועי חיפוש ויזואליים שמקשרים בין תיאורים מילוליים לתמונות טבע.
- בדיקת מודלי אפס דגימות
הערכת ביצועים של מודלים קיימים על תמונות טבע איכותיות ללא כוונון מקדים.
איפה זה נופל
כל התוכן מוגבל אך ורק לנושאי טבע, כך שהוא לא יעזור למי שבונה מודל לזיהוי עירוני, מסמכים או חפצים יומיומיים. הטקסט והתגיות מגיעים באנגלית בלבד, ואין כאן ייצוג לעברית או להקשרים מקומיים. בנוסף, חסרות כאן טבלאות החיפושים ומילות המפתח המורחבות שמגיעות בחבילה המקורית של אנפלאש, מה שמגביל משימות מורכבות של ניתוח כוונות משתמש.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הטקסט של אנפלאש מציין שגרסת הלייט פתוחה לשימוש מסחרי ולא מסחרי. עם זאת, התנאים שלהם אוסרים במפורש על מכירה או הפצה מחדש של התמונות עצמן כחבילה מתחרה. בעמוד בהאגינג פייס לא מוגדר רישיון פורמלי, ולכן יש לעיין בתנאים המקוריים באתר שלהם לפני הטמעה.
כמה המאגר הזה שוקל בעת ההורדה?
החבילה המלאה של גרסת הלייט שוקלת כ־650 מגהבייט בצורה מכווצת וכ־1.4 גיגהבייט כשהיא פתוחה. המאגר הספציפי הזה מושך רק את קובץ התצלומים הבודד מתוכה. זהו נפח קטן משמעותית מגרסת המאגר המלאה של אנפלאש, שמגיעה לעשרות גיגהבייט.
האם המאגר כולל עברית?
לא, המאגר מוגדר ומכיל נתונים בשפה האנגלית בלבד. כל המטא-דאטה, התיאורים והתגיות שנוצרו על ידי הצלמים או המשתמשים מקורם באנגלית. אם המודל שלכם דורש הבנה של מונחי טבע בעברית, תצטרכו לתרגם את הנתונים או להוסיף מקורות אחרים.
מה ההבדל בין המאגר הזה למאגר הרשמי של אנפלאש?
המאגר הרשמי המלא של אנפלאש כולל מעל שלושה מיליון תמונות ודורש בקשת גישה ידנית. המאגר הנוכחי לוקח רק את תת הקבוצה החינמית של עשרים וחמישה אלף תצלומי טבע. מעבר לכך, הוא כולל רק קובץ נתונים אחד מתוך החבילה ולא את מילות המפתח המלאות.
איך טוענים
טוענים את הדאטהסט ישירות דרך ספריית datasets באמצעות המזהה של ג'יימס קלאם, שמפעיל סקריפט פייתון מקומי בשם unsplash-25k-photos.py. הסקריפט מזרים את המידע מקובץ ה־TSV המקורי ברשת, כך שאין צורך באישור גישה ידני או בהרשמה מראש. חבילת הלייט המקורית כולה שוקלת כ־650 מגהבייט מכווצת וכ־1.4 גיגהבייט לאחר פריסה, אך המאגר הנוכחי מושך רק את קובץ התצלומים.
from datasets import load_dataset
ds = load_dataset("jamescalam/unsplash-25k-photos")הרישיון
בעמוד הדאטהסט לא הוגדר רישיון רשמי בשדה המתאים. בתיאור המצורף מוסבר שגרסת הלייט מיועדת לשימוש מסחרי ולא מסחרי בכפוף לתנאי השימוש של אנפלאש, שאוסרים על הפצה מחדש של התמונות עצמן כמאגר מתחרה. אם אתם מתכננים לאמן מודל למוצר מסחרי, חובה לקרוא את קובץ התנאים המקורי בגיטהאב כדי לוודא שאינכם מפרים את ההגבלות של הפלטפורמה.