UltraVideo
קוד פתוחAPRIL-AIGCother2025-05-22
מאגר סרטונים ברזולוציית 4K ו־8K עם תיאורים מובנים, שנבנה במיוחד לאימון מודלים שמייצרים וידאו חד מקלט טקסט או מתמונה.
- 12,626הורדות בחודש
- 66לייקים
מה זה
המאגר מורכב מקובצי וידאו באיכות גבוהה מאוד של 4K ו־8K, ומכיל עשרה סוגים שונים של כתוביות ותיאורים מובנים לכל קטע. המטרה של המבנה הזה היא לתת למודלי למידה עמוקה הבנה עמוקה של תוכן הווידאו, התנועה והפרטים הקטנים שקיימים ברזולוציות קיצוניות כאלה.
התוכן הנוכחי ששוחרר הוא החלק של הסרטונים הקצרים, UltraVideo-Short, כאשר החלק של הסרטונים הארוכים עדיין מוגדר בעבודה לפי הכרטיס. הנתונים עצמם מאורגנים בארכיון קבצים דחוסים, והם כוללים גם קובץ הנחיות טקסטואליות שנבנה בסגנון VBench לצורך בדיקות והערכה של ביצועי מודלים.
הכרטיס לא מפרט מה מקור הסרטונים המקוריים, מי צילם אותם או באיזה תהליך סינון בדיוק הם נבררו. מה שכן מוסבר הוא שהמאגר נועד לשמש בסיס ליצירת וידאו מקורי ברזולוציות 1K ו־4K באמצעות מודלים כמו UltraWan.
מתאים ל
- אימון מודלי Text-to-Video
אימון והתאמה של מודלים שמייצרים סרטוני 4K ישירות מתיאורי טקסט מורכבים.
- יצירת וידאו מתמונה
פיתוח מודלי Image-to-Video שמייצרים תנועה מציאותית מתוך תמונות ברזולוציה גבוהה.
- הערכת מודלי וידאו
בדיקת איכות של מודלי וידאו מול הנחיות VBench המצורפות במאגר.
איפה זה נופל
הכרטיס לא חושף את מקורות הדאטה, את כמות השעות הכוללת, או אילו הטיות קיימות בתוכן הווידאו. לא מצוין פיקוח על זכויות יוצרים של המצולמים, ואין מידע על שפות הכתוביות מעבר לאנגלית, כך שלעברית אין כאן שום ייצוג. בנוסף, חלקי הווידאו הארוכים טרם שוחררו, מה שמגביל את השימוש הנוכחי רק למשימות של קטעים קצרים. לפני שרצים לאמן מודל, חובה לבדוק ידנית את איכות החיתוך והתוכן של הקבצים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מודל מסחרי?
הרישיון אינו רישיון קוד פתוח סטנדרטי אלא רישיון פרטי של APRIL Lab. הכרטיס לא מציין במפורש היתר מסחרי, ודורש לעיין בתנאים של הקובץ הייעודי שלהם ושל מודל Wan2.1 לפני כל שימוש.
האם יש במאגר תמיכה או תיאורים בעברית?
לא. הכתוביות וההנחיות שנבנו לצד הסרטונים הן באנגלית בלבד. אם המטרה היא לאמן מודל על הנחיות בעברית, תצטרכו לתרגם את התיאורים בעצמכם.
מאיפה הגיעו קובצי הווידאו?
החוקרים שפרסמו את הדאטהסט לא מפרטים בכרטיס מהיכן נאספו הסרטונים או מי בעלי הזכויות המקוריים שלהם. הם מספקים רק את הקבצים הדחוסים ואת התיאורים המובנים שהופקו עבורם.
איך המאגר הזה שונה ממאגרי וידאו רגילים?
ההבדל המרכזי הוא הרזולוציה הגבוהה של 4K ו־8K, לצד עשרה סוגי תיאורים מובנים לכל קליפ. רוב המאגרים מציעים איכויות נמוכות יותר ותיאורים פשוטים שלא מתאימים ליצירת וידאו חד מאוד.
איך טוענים
טוענים את המאגר דרך ממשק שורת הפקודה huggingface-cli ישירות למחיצה מקומית, בעזרת פקודת resume-download. המאגר מכיל 56 קבצים, שכוללים ארכיוני zip מרובים של קטעי וידאו קצרים כמו clips_short_1.zip ודומיו, לצד קובצי תמונות ומסמכים. אין צורך באישור גישה מוקדם כדי להוריד, אבל בגלל שמדובר בווידאו 4K ו־8K בפורמט דחוס, תצטרכו נפח אחסון גדול מאוד ותהליך חילוץ מקומי לפני תחילת העבודה.
from datasets import load_dataset
ds = load_dataset("APRIL-AIGC/UltraVideo")הרישיון
הרישיון מוגדר תחת סיווג כללי כ־other, והיוצרים מחייבים לפעול לפי קובץ תנאים ייעודי בשם LICENSE_APRIL_LAB. שימוש במודלים הנלווים כפוף לרישיון הנפרד של Wan2.1. הכרטיס אינו מאשר במפורש שימוש מסחרי חופשי, ולכן יש לקרוא בקפידה את הרישיון המצורף לפני אימון מודל שמיועד למוצר.