Disney-VideoGeneration-Dataset
קוד פתוחWild-Heartapache-2.02024-09-17
המאגר כולל קטעי וידאו קצרים מהסרט המצויר הקלאסי ספינת הקיטור וילי יחד עם תיאורי טקסט באנגלית. הוא מיועד למי שרוצה לאמן או לבדוק מודלים של יצירת וידאו על אנימציה תקופתית ספציפית.
- 723הורדות בחודש
- 29לייקים
מה זה
במאגר יש 69 סרטונים שנחתכו ישירות מתוך הסרט המצויר Steamboat Willie של דיסני. כל קטע וידאו נמשך בדיוק 6 שניות, בקצב של 30 פריימים לשנייה וברזולוציה של 640 על 380 פיקסלים. כל הסרטונים הם בשחור ולבן בלבד, ללא צבע.
לצד קובצי הווידאו בתיקיית videos, המאגר כולל קובצי טקסט כמו prompt.txt שמכיל תיאור מילולי באנגלית לכל סרטון, באורך של פחות ממאה מילים לקטע. בנוסף מצורפים קובצי רשימות כמו videos.txt וקובץ metadata.csv שמקשר בין הקטעים למידע עליהם. יוצרי המאגר מציינים התאמה ישירה למודלים כמו CogVideoX שמשתמשים במקודד הטקסט T5.
מתאים ל
- כוונון עדין לאנימציה
התאמת מודלי וידאו קיימים כמו CogVideoX ליצירת תנועה בסגנון סרטים מצוירים מוקדמים בשחור ולבן.
- בדיקת מודלי תמונה לווידאו
בחינת יכולת המודל להנפיש פריים בודד מתוך סרטון אנימציה קצר בן 6 שניות.
- ניסויי יישור טקסט לווידאו
בדיקת התאמה בין תיאורי פרומפט קצרים באנגלית לבין תנועות מוגדרות של דמויות מצוירות.
איפה זה נופל
ההגבלה הבולטת ביותר היא הגודל. עם 69 סרטונים בלבד, אי אפשר לאמן כאן מודל וידאו מאפס, אלא רק לבצע כוונון עדין מאוד ספציפי או בדיקות. בנוסף, כל החומר הוא בשחור ולבן ובסגנון האנימציה של שנות העשרים, כך שהוא לא מייצג תנועה ריאליסטית, עולם מודרני או צבע. הטקסט קיים באנגלית בלבד ואין כאן שום תמיכה בעברית. אם המטרה שלכם היא מודל וידאו כללי, הנתונים האלה צרים מדי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן, הרישיון המדווח הוא apache-2.0, שמאפשר שימוש מסחרי ללא תשלום תמלוגים. עליכם רק לכלול את תנאי הרישיון המקורי ואת הודעת הייחוס של היוצרים.
האם הדאטהסט כולל תיאורים בעברית?
לא. התיאורים בקובץ prompt.txt נכתבו באנגלית בלבד, וכל תיאור כולל פחות ממאה מילים. אין במאגר נתונים בעברית.
כמה נתונים יש כאן בפועל?
מדובר במאגר קטן מאוד של 69 קטעי וידאו בלבד. כל קטע נמשך 6 שניות ברזולוציה של 640 על 380 פיקסלים ובקצב של 30 פריימים לשנייה.
מאיפה נלקחו הסרטונים?
כל הסרטונים נחתכו מתוך הסרט המצויר Steamboat Willie של דיסני. החומר כולו הוא אנימציה קלאסית בשחור ולבן.
איך טוענים
אין צורך בבקשת גישה מיוחדת כדי להוריד את הקבצים. המאגר מכיל 75 קבצים בסך הכל, וניתן למשוך אותו ישירות דרך כלי העבודה הרגילים של Hugging Face או באמצעות Git.
המבנה פשוט מאוד ומבוסס על תיקיית videos עם קובצי mp4 בעלי שמות מבוססי גיבוב, לצד קובץ prompt.txt שמכיל את תיאורי הפרומפטים וקובץ metadata.csv. בגלל שהווידאו ברזולוציה נמוכה יחסית של 640 על 380 ואורכו 6 שניות לקטע, נפח האחסון הנדרש קטן ואינו דורש תשתית כבדה כדי להתחיל לעבוד.
from datasets import load_dataset
ds = load_dataset("Wild-Heart/Disney-VideoGeneration-Dataset")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה של הנתונים, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי. הוא אינו מחייב אתכם לשחרר מודלים שאימנתם תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים