ego4d-video
קוד פתוחwofmanafapache-2.02024-04-03
סרטוני גוף ראשון מתוך Ego4D שחוברו להוראות תכנון שלב אחרי שלב. מי שבונה מודלים לתכנון פעולות בעולם האמיתי או מענה על שאלות בווידאו ימצא כאן שילוב ממוקד שחוסך סינון עצמאי.
- 2,668הורדות בחודש
- 16לייקים
מה זה
המאגר מבוסס על פרויקט EgoCOT ומכיל סרטוני וידאו מנקודת מבט של גוף ראשון שנלקחו מתוך מאגר Ego4D המקורי. לצד הסרטונים יש הוראות שפה שמפרקות ביצוע משימות לשלבים עוקבים, כחלק ממחקר על תכנון מבוסס ראייה ושפה.
תהליך יצירת הנתונים כלל שלושה שלבים מוגדרים. תחילה ייצרו את ההוראות בצורה ממוחשבת, לאחר מכן סיננו אותן על בסיס דמיון סמנטי, ובסוף העבירו אותן בדיקה ואימות ידני בידי בני אדם. התוצאה היא דאטהסט שמשלב הדגמות תנועה יומיומיות עם טקסט שמסביר מה קורה בכל רגע.
המבנה הפנימי כולל 55 קבצים בסך הכל. הנתונים הטקסטואליים והשאלות מרוכזים בקובץ chat_ego4d_vid.jsonl, ואילו קובצי הווידאו עצמם פוצלו לארכיון מרובה חלקים כמו ego4d_video.z01 והבאים אחריו כדי לאפשר הורדה של הנפח הכבד.
מתאים ל
- אימון סוכנים לתכנון צעדים
לימוד מודלים לפרק משימה יומיומית מורכבת לרצף פעולות מבוססות וידאו מגוף ראשון.
- מענה על שאלות בווידאו
בניית יכולות מענה לשאלות על סמך אירועים שמתרחשים לאורך ציר הזמן בסרטון.
- הבנת פעולות אנושיות
זיהוי כלים, חפצים ותנועות ידיים מנקודת המבט של האדם שמבצע את הפעולה.
איפה זה נופל
כל הטקסט במאגר קיים באנגלית בלבד. אם המוצר שלכם מיועד לשוק המקומי בישראל או דורש הבנה של עברית, תצטרכו לתרגם את ההוראות בעצמכם או לבנות שכבת התאמה. בנוסף, נקודת המבט היא אגוצנטרית בלבד, כלומר צילום ממצלמת ראש או חזה, שלא מתאים למי שמחפש וידאו ממצלמות אבטחה או רחפנים. הכרטיס לא מפרט אילו סצנות ספציפיות נבחרו מתוך Ego4D, וזה מחייב אתכם לדגום את החומר ולוודא שהאיכות מתאימה למשימה שלכם.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
הרישיון שמופיע בדף המאגר הוא apache-2.0, שמאפשר שימוש מסחרי מלא ומאפשר להגן על מודלים שפותחו בעזרתו. למרות זאת, כדאי לזכור שהווידאו נגזר מתוך פרויקט Ego4D המקורי. לפני שמשלבים את המידע במערכת מסחרית, רצוי לבדוק אם Ego4D דורשים רישוי נפרד על הסרטונים שלהם.
האם המאגר כולל תמיכה בעברית?
לא, המאגר מוגדר לשפה האנגלית בלבד, וכל הוראות השפה והשאלות נכתבו באנגלית. שימוש במודל שפונה למשתמשים ישראלים ידרוש תרגום מוקדם של ההנחיות בקובץ הנתונים. בלי עיבוד כזה, המודל לא יכיר את המונחים המקבילים בעברית.
איך נוצרו ההוראות הטקסטואליות שמלוות את הסרטונים?
ההוראות הופקו תחילה באופן אוטומטי על ידי מכונה כחלק ממתודולוגיית EgoCOT. לאחר מכן הופעל סינון סמנטי כדי להסיר רעשים וטעויות גסות. בשלב האחרון עברו הנתונים בדיקה ואישור ידני של בני אדם כדי להבטיח את איכות הטקסט.
איך מורידים את קובצי הווידאו מהמאגר?
הווידאו לא מגיע בקובץ בודד אלא פרוס על פני 55 קבצים, כולל ארכיונים מפוצלים מ־ego4d_video.z01 והלאה. צריך להוריד את כל החלקים הרלוונטיים לאחסון המקומי ולפתוח אותם יחד כדי לקבל את הסרטונים התקינים. קובץ ה־JSONL מכיל את המטא-דאטה ואפשר לעבוד איתו בנפרד.
איך טוענים
טעינה פשוטה של שורת קוד אחת לא תספיק כאן אם אתם צריכים את הסרטונים עצמם. המאגר מורכב מ־55 קבצים, והווידאו מחולק לארכיון מפוצל בסיומות z01, z02 והלאה, מה שמחייב הורדה מלאה שלהם ואיחוד מקומי לפני שמתחילים לעבוד. קובץ הטקסט chat_ego4d_vid.jsonl מכיל את השאלות, ההוראות והקישורים לסרטונים הרלוונטיים. אין כאן דרישה לטופס גישה מיוחד או אישור ידני בהאגינג פייס, הנתונים פתוחים להורדה ישירה.
from datasets import load_dataset
ds = load_dataset("wofmanaf/ego4d-video")הרישיון
המאגר פורסם תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי של הנתונים והפצה מחודשת, בלי חובה לשחרר מודלים שאימנתם תחת אותו רישיון. התנאי המרכזי הוא מתן קרדיט מתאים ושמירה על הודעות זכויות היוצרים והרישיון המקוריות. עם זאת, מכיוון שהסרטונים מגיעים מ־Ego4D, כדאי לוודא שאין תנאי שימוש נוספים על המדיה עצמה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים