cosmos-openvid-1m
קוד פתוחfalapache-2.02025-01-02
המאגר כולל ייצוגים דחוסים של סרטוני OpenVid-1M שעברו קידוד מראש בטוקנייזר Cosmos של אנבידיה. הוא חוסך זמן חישוב יקר באימון מודלי וידאו שמתבססים על המרחב הלטנטי הזה.
- 2,638הורדות בחודש
- 22לייקים
מה זה
הרשומות במאגר מייצגות קטעי וידאו מתוך הדאטהסט המקורי OpenVid-1M, אך במקום קובצי וידאו רגילים מקבלים וקטורים לטנטיים מקודדים. המאגר מכיל בין מאה אלף למיליון רשומות המחולקות לאלפי קובצי פארקט שונים, ללא חלוקה מפורטת לחלקי משנה מלבד תיקיית אימון ראשית בשם continuous train.
כל רשומה מורכבת מארבע עמודות בלבד: שדה serialized_latent שמכיל את הטנזור של הווידאו כבתים סדרתיים, תיאור טקסטואלי של הסרטון, קצב הפריימים לשנייה, ושם קובץ הווידאו המקורי כדי שתוכלו לאתר אותו במאגר המקור. המפרסמים לא ציינו בדף איזה סינון או ניקוי בוצע מעבר לטוקניזציה של הסרטונים על גבי Cosmos.
מתאים ל
- אימון מודלי דיפוזיה לווידאו
אימון מהיר של מודלים גנרטיביים ישירות במרחב הלטנטי של Cosmos ללא צורך בשלב הקידוד.
- הערכת טוקנייזרים
מדידת איכות השחזור וההסקה של Cosmos מול מודלים מתחרים על בסיס קטעים מתוך OpenVid.
- מחקר על ייצוגי וידאו
ניתוח הקשר שבין טקסט לווקטורים דחוסים של וידאו במשימות חיפוש ואחזור נתונים רב-מודאליים.
איפה זה נופל
דף המאגר אינו מספק מידע על מקור הווידאו המקורי, שפות התיאורים, או אילו הטיות קיימות בתוכן. אם אתם מחפשים תיאורים בעברית, קחו בחשבון שמאגר OpenVid המקורי מבוסס בעיקר על אנגלית. בנוסף, לא תקבלו כאן את קובצי הווידאו הגולמיים בפורמט צפייה, ולכן עבודה ישירה עם פיקסלים דורשת פענוח כבד של כל וקטור באמצעות מודל חיצוני. הנתונים מתאימים רק למי שמתכוון לאמן ארכיטקטורה שעובדת ישירות מול Cosmos Tokenizer.
שאלות
נפוצות
האם אפשר להשתמש במאגר למטרות מסחריות?
דף המאגר מצהיר על רישיון apache-2.0 שמתיר שימוש מסחרי מלא ללא הגבלת סגירות קוד. יחד עם זאת, הנתונים הם עיבוד של OpenVid-1M, ולכן חשוב לבדוק את תנאי המאגר המקורי לפני שמשלבים תוצרים במוצר מסחרי.
האם המאגר כולל תוכן או תיאורים בעברית?
המאגר מבוסס על סרטונים ותיאורים מתוך OpenVid-1M שהוטמעו באנגלית, ולפי התיעוד אין בו התייחסות לשפות נוספות. מי שבונה מודל ייעודי לעברית יצטרך לתרגם את שדה הכתוביות בעצמו.
איך מחלצים את הסרטונים לצפייה רגילה?
הקבצים לא מכילים וידאו גולמי אלא וקטורים מספריים ששמורים בטבלאות פארקט. כדי לקבל סרטון רגיל צריך להתקין את Cosmos-Tokenizer של אנבידיה, להריץ עליו את המפענח, ולנרמל את הפיקסלים חזרה לטווח שבין אפס ל־255.
איך טוענים
הנתונים מחולקים ליותר מ־3,800 קובצי פארקט, כך שרצוי לקרוא אותם ישירות מקבצי השארד בלי להוריד את הכל בבת אחת לזיכרון. שדה הטנזור נשמר בעזרת torch.save, ולכן צריך לטעון אותו בעזרת BytesIO ופונקציית torch.load עם weights_only. גישה לדאטהסט עצמו פתוחה ואינה דורשת אישור מיוחד, אך אם תרצו לשחזר את הסרטונים חזרה לתצוגה רגילה, תצטרכו להתקין את ספריית Cosmos-Tokenizer מגיטהאב, להוריד משקולות מודל של אנבידיה, ולהמיר את הערכים מטווח מינוס אחת לאחת לערכי פיקסל סטנדרטיים.
from datasets import load_dataset
ds = load_dataset("fal/cosmos-openvid-1m")הרישיון
המאגר מופץ תחת רישיון apache-2.0, שמאפשר שימוש מסחרי, שינוי והפצה של הנתונים והמודלים שתאמנו עליהם. הרישיון דורש מתן קרדיט מתאים ושמירה על הודעות זכויות היוצרים, אך אינו מחייב אתכם לשתף את הקוד או את המודל שלכם באותו רישיון. למרות זאת, כדאי לבדוק בנפרד את תנאי השימוש של סרטוני המקור במאגר OpenVid-1M כדי לוודא שאין עליהם מגבלות חיצוניות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים