OpenVE-3M

מה זה

המאגר מכיל מעל שלושה מיליון שלשות שכוללות נתיב לווידאו המקורי, נתיב לווידאו הערוך וטקסט הוראה באורך ממוצע של 40.6 מילים. הסרטונים מגיעים באורכים של 65 עד 129 פריימים ברזולוציה של 720p, באוריינטציה אופקית או אנכית.

התוכן מחולק לשמונה קטגוריות שנפרסות על פני קובצי ארכיון וטבלאות נפרדות. שש קטגוריות שומרות על התאמה מרחבית מדויקת בתנועה: העברת סגנון כללי, החלפת רקע, הוספה, הסרה, שינוי מקומי ועריכת כתוביות. שתי הקטגוריות הנוספות, עריכה יצירתית ועריכת זוויות צילום מרובות, משמרות את האובייקט הראשי אבל משלבות תנועה חדשה ושונה מסרטון המקור.

הכרטיס מגיע מחוקרים באוניברסיטת ג'ג'יאנג ומחברת בייטדאנס, אך הוא אינו מפרט מה מקור הסרטונים הגולמיים, האם הם סונתזו או נאספו מהרשת, וכיצד בדיוק בוצע הסינון שלהם.

מתאים ל

• אימון מודלי Video-to-Video

  לימוד מודלים לבצע שינויים מבוססי טקסט בסרטונים קיימים תוך שמירה על עקביות.

• עריכת רקע ואובייקטים

  פיתוח אלגוריתמים להוספה, החלפה או מחיקה של אלמנטים מתוך סרטון לפי הנחיה.

• העברת סגנון חזותי

  שינוי המראה והסגנון הכולל של הווידאו מבלי לשנות את מבנה התנועה והפריימים.

איפה זה נופל

החיסרון המרכזי הוא היעדר מוחלט של פרטים על מקור הסרטונים ואופן הסינון שלהם בכרטיס. הנתונים מתמקדים באנגלית באורך של כארבעים מילים להנחיה, ואין שום מידע על תמיכה בעברית או בשפות אחרות. בנוסף, הנפח העצום של כמעט חמישה טרה-בייט דורש תשתית חומרה כבדה מאוד רק כדי להוריד ולפתוח את הקבצים.

איך טוענים

טוענים את המידע דרך ספריית datasets בקוד פייתון רגיל ללא צורך באישור גישה מראש. הקבצים הגולמיים שוקלים יחד מעל 4.8 טרה-בייט ומחולקים לארכיוני tar.gz מפוצלים לפי קטגוריות, לצד קובצי csv שמכילים את השדות video, original_video ו־prompt. יש לחבר את חלקי הארכיון בפקודת cat לפני החילוץ, ולהכין מראש נפח אחסון גדול מאוד.

from datasets import load_dataset

ds = load_dataset("Lewandofski/OpenVE-3M")

הרישיון

המאגר מופץ תחת רישיון cc-by-nc-4.0. המשמעות היא שהשימוש מותר למטרות מחקר ולימוד בלבד, עם חובת מתן קרדיט ליוצרים. שימוש מסחרי אסור בהחלט, ולכן לא ניתן להשתמש בו לאימון מודלים שמיועדים למוצר מסחרי או לשירות בתשלום.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗