VIDGEN-1M
קוד פתוחFudan-FUXIapache-2.02024-08-06
מאגר לאימון מודלים של טקסט לווידאו שכולל סרטונים ותיאורים מפורטים באנגלית. הוא נבנה בסינון הדרגתי כדי לשמור על עקביות תנועה ואיכות תמונה גבוהה.
- 10,168הורדות בחודש
- 42לייקים
מה זה
המאגר מציע סרטוני וידאו לצד תיאורי טקסט מפורטים, שמתמקדים בפעולות, בתאורה ובפרטים הוויזואליים של כל סצנה. הצוות שפיתח אותו השתמש בשיטת סינון הדרגתית, שמתחילה מניפוי גס ועוברת לבחירה עדינה, כדי להיפטר מחומרים ירודים ולהבטיח שהתיאור מתאים במדויק למה שקורה לאורך ציר הזמן.
המבנה הפנימי מחולק לקובץ נתונים אחד בפורמט json שמחזיק את כל הצימודים, ואלפי קובצי ארכיון שמכילים את הווידאו עצמו. כל רשומה כוללת מזהה ייחודי של קטע הווידאו, לצד תיאור מלא שנכתב באנגלית סטנדרטית ומפרט מה רואים ברקע, מה הדמויות עושות ואיך הסצנה מוארת.
היוצרים לא פירטו בכרטיס מהיכן בדיוק הורדו הסרטונים המקוריים או באיזה גודל פיקסלים הם נשמרו, אלא הפנו למאמר המחקרי ולמאגר הקוד הנלווה. כל קטעי הווידאו חולקו לחבילות קטנות כדי להתמודד עם מגבלות תעבורה ברשת בזמן ההורדה.
מתאים ל
- אימון מודלי וידאו
בניית מודלי בסיס שמייצרים וידאו מתוך הנחיות טקסט מורכבות.
- הערכת עקביות תנועה
בדיקת היכולת של מודלים קיימים לשמור על המשכיות לאורך זמן.
- הצמדת תיאור לווידאו
אימון מודלים רב-מודאליים להפקת כתוביות והבנת פעולות בסצנה.
איפה זה נופל
הכרטיס הרשמי מספק מעט מאוד פרטים טכניים יבשים. אין מידע על רזולוציית הסרטונים, קצב הפריימים, משך כל קטע או הנפח הכולל בגיגה-בייט. הטקסטים כולם באנגלית, כך שאין שום תמיכה בעברית או בשפות אחרות. מעבר לכך, המפתחים לא ציינו את מקור הווידאו ברשת, ולכן קשה לדעת אילו הטיות תוכן, זכויות יוצרים של צד שלישי או חוסר גיוון גיאוגרפי מסתתרים שם בלי לבדוק מדגמית.
שאלות
נפוצות
האם מותר להשתמש בו לצרכים מסחריים?
כן, הרישיון המוצהר הוא apache-2.0, שמאפשר שימוש מסחרי ללא תמלוגים. אתם רק צריכים להקפיד על מתן קרדיט כנדרש ברישיון.
האם יש במאגר סרטונים או תיאורים בעברית?
לא. התיאורים כתובים כולם באנגלית בלבד. אם המודל שלכם מיועד לעברית, תצטרכו לתרגם את הטקסטים בעצמכם או להשתמש במודל גישור.
איך מחברים בין התיאורים לקובצי הווידאו?
קובץ ה־json המרכזי מכיל שדה vid לכל רשומה. השדה הזה תואם לשם הקובץ שנמצא בתוך אחד מאלפי קובצי ה־zip של המאגר.
כמה מקום צריך לפנות בדיסק?
הכרטיס לא מציין את המשקל הכולל בגיגה-בייט, אך המאגר כולל מעל אלפיים קובצי zip עם סרטונים. המשמעות היא שצריך להיערך לנפח אחסון גדול מאוד.
איך טוענים
אין צורך לבקש אישור גישה מיוחד, המאגר פתוח להורדה ישירה. הקבצים מחולקים ליותר מאלפיים קובצי zip שונים שמכילים את הווידאו, לצד קובץ json מרכזי בשם VidGen_1M_video_caption.json. הקובץ המרכזי מחזיק את השדות vid לזיהוי הקטע ו־caption שמכיל את התיאור הטקסטואלי. מומלץ להכין סקריפט להורדה באצוות ולפתיחת הארכיונים, כי כמות הקבצים הגבוהה דורשת שטח דיסק משמעותי וחיבור יציב מאוד.
from datasets import load_dataset
ds = load_dataset("Fudan-FUXI/VIDGEN-1M")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, כל עוד אתם מצרפים קרדיט מתאים ועותק של הרישיון המקורי. הוא לא מחייב אתכם לשחרר מודלים שאימנתם תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים