MiraData
קוד פתוחTencentARCgpl-3.02024-07-11
מאגר סרטונים ארוכים עם תיאורים מפורטים ומובנים של תנועת מצלמה, רקע ועצמים. הוא נבנה במיוחד לאימון מודלי יצירת וידאו שצריכים לשמור על עקביות לאורך זמן.
- 410הורדות בחודש
- 42לייקים
מה זה
המאגר מיועד לאימון מודלים למשימות יצירת והבנת וידאו, ומציע סרטונים באורך משמעותי יחד עם חלוקה למעברי שוטים. במקום להסתפק במשפט בודד שמתאר את כל הסרטון, כל רשומה כוללת מערך שלם של תיאורים טקסטואליים מובנים בשפה האנגלית, כולל תיאור קצר, תיאור צפוף ומפורט, ופירוט ייעודי של תנועת המצלמה, הרקע, הסגנון והאובייקט המרכזי שמופיע בפריים.
הנתונים במאגר מחולקים לארבע גרסאות שונות לפי היקף: 330 אלף רשומות, 93 אלף, 42 אלף וגרסה קטנה של 9 אלפים. מטא-דאטה מפורט מלווה כל רשומה ומכיל קישור מקור, מזהה ייחודי, נתוני רזולוציה, קצב פריימים, משך זמן בשניות וחותמות זמן לחיתוך מקטע הווידאו המדויק מתוך הסרטון המקורי.
מתאים ל
- אימון מודלי יצירת וידאו
פיתוח מודלים מבוססי טקסט לווידאו שמתמקדים בשמירה על עקביות תנועה ורצף ארוך.
- שליטה בתנועות מצלמה
אימון מערכות לייצור תנועות צילום מדויקות בהתבסס על שדות התיאור הנפרדים של המצלמה.
- מבחני עקביות וידאו
הערכת ביצועים של מודלים קיימים ביצירת סצנות מורכבות עם מעברי שוטים.
איפה זה נופל
כל התיאורים הטקסטואליים במאגר נכתבו באנגלית בלבד, כך שאין בו תמיכה בעברית או בשפות אחרות. מעבר לזה, המאגר מספק קישורים לסרטוני מקור ברשת ואינו מארח את הווידאו ישירות. המשמעות היא שסרטונים עשויים להימחק או להפוך ללא זמינים בכל רגע, מה שיוצר שחיקה בזמינות הנתונים ופוגע ביכולת לשחזר אימונים בצורה מדויקת בעתיד.
שאלות
נפוצות
האם קובצי הווידאו נמצאים ישירות ב־Hugging Face?
לא. המאגר מכיל רק קובצי מטא-דאטה בפורמט CSV עם קישורים לסרטונים המקוריים, מידות וחותמות זמן. את הסרטונים עצמם צריך להוריד ולחתוך עצמאית בעזרת סקריפט פייתון שהחוקרים מספקים.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי סגור?
הרישיון המדווח הוא gpl-3.0, שמחייב שיתוף של יצירות נגזרות תחת אותו רישיון פתוח. אם המודל שלכם נחשב ליצירה נגזרת, תהיו חייבים לפתוח את הקוד והמשקולות שלו, מה שהופך שימוש מסחרי קנייני לבעייתי מאוד.
האם יש במאגר סרטונים או כיתובים בעברית?
המאגר מוגדר לשפה האנגלית בלבד, וכל שדות הטקסט שמפרטים את הרקע, התנועה והאובייקטים כתובים באנגלית. כדי לאמן מודל שמבין הנחיות בעברית תצטרכו לתרגם את הנתונים או להשתמש בבסיס אחר.
מה ההבדל בין קובצי ה־CSV השונים במאגר?
המפרסמים חילקו את הנתונים לארבע גרסאות שונות לפי סדר גודל. הגרסאות כוללות כ־9 אלפים, 42 אלף, 93 אלף ו־330 אלף רשומות, כך שאפשר להתחיל מניסויים קטנים בלי להוריד את כל המאגר.
איך טוענים
המאגר עצמו אינו מכיל את קובצי הווידאו הגולמיים, אלא קובצי CSV של מטא-דאטה. כדי לעבוד איתו מורידים את קובץ המטא הרצוי ומריצים סקריפט פייתון ייעודי שמוריד את הסרטונים מכתובות הרשת שלהם וחותך אותם לקטעים לפי חותמות הזמן. תצטרכו להכין מראש שטח אחסון גדול וחיבור רשת יציב, כיוון שההורדה של מאות אלפי סרטונים בפועל מתבצעת ישירות מהמקורות ברשת, וכתובות מסוימות עלולות להיעלם עם הזמן.
from datasets import load_dataset
ds = load_dataset("TencentARC/MiraData")הרישיון
המאגר מופץ תחת רישיון gpl-3.0. זהו רישיון קוד פתוח עם תנאי הדבקה מחמירים המחייב שיתוף באותו רישיון. אם תפיצו מוצר, כלי או קוד שמבוסס ישירות על הנתונים, תצטרכו לשחרר גם אותו תחת אותו רישיון ובאופן פתוח. לשימוש מסחרי סגור זהו סיכון משפטי מהותי שמחייב בדיקה משפטית לפני שילובו בפרויקט ייצורי.