pexelvideos
קוד פתוחITOCJרישיון לא דווח2022-08-02
המאגר מרכז כתובות של מאות אלפי סרטונים קצרים מפלטפורמת פקסלס עם מטא-דאטה נלווית. הוא רלוונטי למי שרוצה לאמן מודלים של וידאו או ראייה ממוחשבת בלי להוריד מראש טרות שלמות של מדיה.
- 853הורדות בחודש
- 21לייקים
מה זה
בפנים תמצאו קישורים ל־358,551 סרטונים עם אורך ממוצע של 19.5 שניות, לצד נתוני המטא שלהם. המאגר עצמו לא כולל את קובצי הווידאו עצמם, אלא הפניות ישירות לקבצים ברשת וטקסטים שנלווים אליהם.
האיסוף התבצע כולו ישירות ממפות האתר של פקסלס, דרך קובץ הרובוטים של האתר, בתאריך ראשון באוגוסט 2022. אין בכרטיס תיעוד על סינון תוכן מיוחד, ניקוי איכות או חלוקה מוגדרת מראש לחלקי אימון ובדיקה.
התוכן מאורגן בקובץ יחיד, כך שכל רשומה מייצגת סרטון ומאפשרת גישה למאפיינים שלו. המבנה מיועד לעבודה ישירה מול שדות המידע וכתובות המקור ברשת לפי הצורך שלכם.
מתאים ל
- אימון מודלי וידאו וטקסט
חיבור תיאורי המטא-דאטה לסרטונים מפקסלס עבור אימון מודלים מולטימודליים.
- סיווג תנועה ופעולות
זיהוי אובייקטים ופעולות בסרטונים קצרים באורך ממוצע של כעשרים שניות.
- מחקר והערכת מודלי ראייה
בדיקת יכולות אחזור או התאמה באמצעות מודלים פתוחים כמו Open-Clip.
איפה זה נופל
הבעיה המרכזית היא שהקבצים נאספו באוגוסט 2022. מאז חלק מהסרטונים נמחקו או שונו בפקסלס, כך שחלק מכתובות הווידאו פשוט לא יעבדו. בנוסף, אין בכרטיס פירוט לגבי שפות המטא-דאטה, אין חלוקה מובנית לסט אימון וסט מבחן, ולא דווח על שום סינון ידני של תכנים באיכות ירודה. מי שבונה על זה מודל חייב לבדוק בעצמו זמינות קישורים ותקינות של המטא-דאטה.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
הרישיון במאגר עצמו מופיע כלא דווח, אבל הכרטיס מפנה לתנאי פקסלס שמתירים שימוש מסחרי. יש מגבלות ברורות נגד מכירת הווידאו כמו שהוא, רמיזה על חסות של מצולמים או שימוש פוגעני. כדאי להתייעץ עם גורם משפטי לגבי מעמד הנתונים לפני הפצה מסחרית.
כמה המאגר שוקל והאם הוא מכיל את הסרטונים?
הקובץ להורדה הוא קובץ פארקט מכווץ ולא כולל את קובצי הווידאו עצמם. הוא מכיל רק טקסט, נתוני מטא וקישורים ישירים. נפח הווידאו המלא ייקבע לפי כמה סרטונים תורידו בפועל למחשב.
האם יש במאגר עברית?
הסרטונים נאספו מפלטפורמה בינלאומית ומפות האתר שלה, כך שרוב המטא-דאטה באנגלית. הכרטיס לא מדווח על תמיכה בעברית או על סינון שפתי מוגדר.
איך הנתונים נאספו?
המידע חולץ ישירות מתוך מפות האתר של פקסלס בראשון באוגוסט 2022. האיסוף התבסס על הכתובות שהופיעו בקובץ הרובוטים באותו יום ללא תיעוד על עיבוד נוסף.
איך טוענים
הנתונים יושבים בקובץ פארקט מכווץ בשם PexelVideos.parquet.gzip. לא צריך אישור גישה מיוחד, אפשר למשוך אותו עם גיט lfs ישירות מהמאגר של Corran/pexelvideos או לקרוא אותו בפנדס עם קריאה סטנדרטית לקובץ פארקט. השדה החשוב ביותר ברשומה הוא content_loc שמכיל את כתובת הווידאו עצמו, וממנו אתם מושכים את הקובץ ישירות. תצטרכו להכין מראש תסריט שמוריד את הווידאו בפועל ומטפל בקישורים שבורים.
from datasets import load_dataset
ds = load_dataset("ITOCJ/pexelvideos")הרישיון
בעמוד המאגר הרישיון הרשמי מוגדר כלא דווח, אך המפרסם מציין את תנאי האתר פקסלס. לפיהם הסרטונים חופשיים לשימוש אישי ומסחרי ואין חובת ייחוס. עם זאת, אסור למכור עותקים ללא שינוי, אסור להציג אנשים מזוהים באור פוגעני, ואסור לרמוז על חסות של מותגים או אנשים. עבור מודל, חוסר ברישיון רשמי ומוגדר בקוד המאגר דורש בדיקה משפטית לפני שימוש מסחרי.