VIVID-10M
קוד פתוחKlingTeamcc-by-nc-4.02025-07-04
מאגר ענק של כמעט עשרה מיליון דוגמאות משולבות תמונה ווידאו שמיועד למשימות עריכה מקומית. הוא פותר את הקושי להשיג דאטה ממוקד להחלפה או הסרה של אובייקטים בתוך פריימים.
- 1,031הורדות בחודש
- 17לייקים
מה זה
המאגר מחזיק 9.7 מיליון דוגמאות שנועדו להוזיל את עלויות הבנייה והאימון של מודלי עריכה מקומית. הוא בנוי משילוב של תמונות וסרטוני וידאו, ומחולק לארבעה קובצי אינדקס עיקריים לפי הפורמט וסוג הפעולה. יש בו פיצול ייעודי לתמונות ופיצול לווידאו, כשבכל אחד מהם יש דאטה שמיועד להחלפה של אובייקט או להסרה מלאה שלו מתוך הפריים.
בתוך קובצי ה־CSV תמצאו נתיבים לקובצי המקור, מסיכות שמגדירות את מיקום האובייקט, ותיאור טקסטואלי ממוקד באנגלית של מה שנמצא תחת המסיכה. בנוסף יש נתיבים ייעודיים לתמונות וסרטונים חתוכים שאותם מייצרים בנפרד, לצד תיוג של סוג העריכה. כרטיס הדאטהסט לא מפרט מה מקור הסרטונים המקוריים, כיצד הם נאספו ברשת, או באילו שיטות סינון השתמשו כדי לנקות את הנתונים לפני האריזה.
מתאים ל
- אימון מודלי החלפת אובייקט
לימוד מודלים להחליף אלמנט מסוים בווידאו או בתמונה על בסיס מסיכה והנחיית טקסט באנגלית.
- הסרת עצמים מסרטונים
פיתוח אלגוריתמים למחיקת אובייקטים מתוך פריימים ברצף וידאו תוך השלמת הרקע בצורה עקבית.
- מחקר גנרטיבי היברידי
בדיקת שיטות אימון שמשלבות תמונות סטילס ווידאו יחד להורדת עלויות חישוב במשימות עריכה מקומית.
איפה זה נופל
הטקסטים בדאטהסט מוגבלים לאנגלית בלבד, כך שאין שום תמיכה בעברית או בהנחיות רב-לשוניות לעריכה. מעבר לזה, הכרטיס לא מספק מידע על מקור הווידאו, תאריכי הדגימה, או בדיקות שנעשו לזיהוי הטיות תוכן, איכות ויזואלית וזכויות יוצרים של המצולמים. אם אתם בונים על שימוש מידי, קחו בחשבון שחלק מהנתונים דורש עיבוד וסינתזה מקומית עם סקריפט כדי לקבל את הקבצים החתוכים המלאים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון הוא cc-by-nc-4.0 שמגביל את השימוש למטרות לא מסחריות בלבד. אם המטרה היא שילוב בכלי מסחרי או מכירת המודל, המאגר הזה לא מתאים.
האם יש בדאטהסט תמיכה בטקסטים בעברית?
לא. התיוגים והתיאורים של האובייקטים הממוסכים קיימים באנגלית בלבד. כדי לעבוד בעברית תצטרכו לתרגם את ההנחיות או לאמן שכבת התאמה בנפרד.
מה צריך לעשות אחרי שמורידים את הקבצים?
הקבצים שמורים בחלקים מפוצלים של tar. צריך לאחד אותם בפקודת שרשור, לפתוח את הארכיונים, ולהריץ את סקריפט הפייתון המצורף אם רוצים לייצר את התמונות והסרטונים החתוכים.
מאיפה נאספו הסרטונים והתמונות שבמאגר?
יוצרי המאגר לא פירטו בכרטיס מה מקור הנתונים או מאיזה אתרים הם נלקחו. המידע היחיד שנמסר הוא גודל המאגר, מבנה העמודות בטבלאות וסוגי המשימות.
איך טוענים
מורידים את כל 55 הקבצים מהמאגר, שכוללים ארכייונים מפוצלים לסיומות קטנות. אחרי ההורדה צריך לאחד אותם ידנית בעזרת שרשור של חלקי ה־tar לקובץ אחד של וידאו וקובץ אחד של תמונות, ולפתוח את הארכיון. אין צורך לבקש אישור גישה מיוחד כדי להוריד. אם תרצו להשתמש בנתונים החתוכים שמופיעים בנתיבי ה־CSV, תצטרכו להריץ את סקריפט הפייתון get_crop_data.py שמצורף למאגר כדי לייצר אותם בעצמכם.
from datasets import load_dataset
ds = load_dataset("KlingTeam/VIVID-10M")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-4.0. המשמעות היא איסור מוחלט על שימוש מסחרי מכל סוג שהוא. מותר לחקור, לפתח ולהעריך מודלים לצרכים אקדמיים או פנימיים בלבד, תוך מתן קרדיט ליוצרים. אי אפשר לשלב את הנתונים או מודלים שאומנו עליהם במוצר מסחרי שנמכר ללקוחות.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא