cleanvid-15m_map
קוד פתוחshinonomelabcc-by-4.02023-06-27
מאגר מיפוי שמחבר טקסט לווידאו בקנה מידה רחב, עם תיאורים ונתוני צילום עשירים. הוא מציע אלטרנטיבה מורחבת ונקייה יותר מסימני מים ביחס לגרסאות ותיקות כמו WebVid.
- 2,129הורדות בחודש
- 23לייקים
מה זה
המאגר מכיל מיפוי מטא-דאטה שנאסף בסריקה של אתר Shutterstock ביוני 2023. המטרה המוצהרת של הפרויקט הייתה לשפר את WebVid-10M על ידי הוספת 3,694,510 רשומות חדשות, והסרת סימני מים מהווידאו כדי לייצר בסיס נקי יותר לפרויקט TempoFunk. הנתונים לא כוללים את קובצי הווידאו עצמם, אלא כתובות רשת להורדה שלהם בפורמט MP4 או WEBM, יחד עם נתונים טכניים ותיאוריים.
כל רשומה במאגר כוללת מזהה ייחודי, תיאור טקסטואלי, משך הסרטון בשניות, יחס תמונה וקצב פריימים. בנוסף, ישנם שדות במבנה מחרוזת JSON שמפרטים קטגוריות מקוריות מהאתר ומידע על היוצר, כולל ציוד הקלטה, סגנון ולאום. המאגר מכיל גם סימון בינארי לתוכן מבוגרים, ומציג סרטונים ברזולוציות נמוכות שננן בין 240p ל־480p.
מתאים ל
- אימון מודלי text-to-video
התאמת תיאורי טקסט לסרטונים קצרים ברזולוציה נמוכה, שמתאימה לשלבי אימון בסיסיים.
- סיווג וידאו לפי קטגוריות
שימוש במטא-דאטה של הקטגוריות מהאתר כדי לאמן מודלים לזיהוי נושאים ותוכן חזותי.
- סינון תוכן לפי ציוד וסגנון
בניית תת-מאגרים לפי ציוד צילום, סגנון יוצר או סינון תוכן למבוגרים בעזרת שדה r18.
איפה זה נופל
הנתונים כוללים טקסט באנגלית בלבד ואין בהם עברית בכלל. הרזולוציה של הסרטונים נמוכה מאוד, בין 240p ל־480p, כך שאם אתם מכוונים ליצירת וידאו באיכות גבוהה תצטרכו פתרונות אחרים. בנוסף, מדובר בסריקה של אתר תמונות מסחרי מיוני 2023. הקישורים החיצוניים עלולים להישבר עם הזמן, והמאגר לא כולל את קובצי המדיה ישירות אלא רק מפנה אליהם, מה שמחייב תשתית אחסון והורדה כבדה משלכם לפני תחילת האימון.
שאלות
נפוצות
האם יש במאגר סרטונים ותיאורים בעברית?
לא. המאגר מבוסס על סריקה באנגלית וכל התיאורים בו מוגדרים תחת השפה en בלבד. מי שבונה מודל בעברית יצטרך לתרגם את המטא-דאטה בעצמו.
האם קובצי הווידאו יושבים בתוך המאגר?
לא, המאגר הוא קובץ מיפוי בפורמט Parquet שמכיל קישורים ומטא-דאטה. כדי לאמן מודל תצטרכו להוריד את קובצי ה־MP4 או ה־WEBM מהכתובות שמסופקות ברשומות.
במה הוא שונה מ־WebVid-10M המקורי?
הוא מבוסס על סריקה מיוני 2023 של Shutterstock וכולל מעל 3.6 מיליון רשומות נוספות לעומתו. בנוסף, מטרת הפרויקט הייתה להסיר סימני מים ולספק נתוני יוצר וציוד צילום.
האם מותר להשתמש בו לאימון מודל מסחרי?
כרטיס המאגר מסומן ברישיון cc-by-4.0 שמתיר שימוש מסחרי תחת מתן קרדיט. יחד עם זאת, הסרטונים עצמם נסרקו ממאגר מסחרי ללא הסכם מפורש איתם, עובדה שמייצרת סיכון משפטי שכדאי לבחון.
איך טוענים
המאגר פתוח לציבור ואינו דורש אישור גישה מיוחד. הנתונים מחולקים ל־35 קובצי Parquet שמכילים את המיפוי בלבד. כדי לעבוד איתו באמת, תצטרכו להריץ סקריפט שיוריד את הווידאו מהקישורים שבשדה videourl. השדות החשובים לסינון ראשוני הם description לטקסט, duration לאורך, ו־r18 לסינון תוכן רגיש. היוצרים שחררו קוד סריקה בגיטהאב ומציינים שבגלל מגבלות קצב של השרתים, תצטרכו להשתמש בפרוקסי אם תרצו למשוך את הקבצים בעצמכם.
from datasets import load_dataset
ds = load_dataset("shinonomelab/cleanvid-15m_map")הרישיון
המאגר מפורסם ברישיון cc-by-4.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, כל עוד אתם נותנים ייחוס מתאים ליוצרים, ואינו מחייב אתכם לשתף את התוצרים באותו רישיון. עם זאת, קובצי הווידאו עצמם מגיעים מסריקה של Shutterstock, כך שמעמדם המשפטי של הסרטונים עצמם והשימוש במודל שאומן עליהם דורשים בדיקה זהירה מול זכויות היוצרים של המקור.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס