StoryStream
קוד פתוחTencentARCapache-2.02024-07-10
מאגר שמחבר רצפי תמונות מונפשות ברזולוציה גבוהה לטקסט סיפורי מפורט באנגלית. הוא מיועד למי שמאמן מודלים על יצירת נרטיב ויזואלי ארוך ועקבי במקום תמונה בודדת עם תיאור קצר.
- 151הורדות בחודש
- 30לייקים
מה זה
המאגר מחולק לשלושה תתי-מאגרים שמבוססים על סדרות אנימציה מוכרות: ג'ורג' הסקרן, ארנבי הפלישה, והמסע לעמק החלומות. כל רשומה מייצגת סיפור רציף שמורכב משלושים תמונות שחולצו מתוך הפרקים, ולכל תמונה מוצמד טקסט נרטיבי מתאים.
המבנה הזה מגיע כקובצי ארכיון דחוסים. לכל סדרה יש קובץ תמונות דחוס בפורמט tar.gz, ולצידו קובץ zip שמכיל קובצי JSONL עם נתיבי הקבצים והטקסטים התואמים. החלוקה לאימון וולידציה משתנה בין הסדרות. בג'ורג' הסקרן יש שני סטים נפרדים לבדיקה, אחד מקטעים שונים מאותם סרטונים ואחר מסרטונים שלא נראו כלל באימון. בשני התת-מאגרים האחרים יש סט ולידציה יחיד שמשלב בין שני המצבים.
מתאים ל
- אימון מודל נרטיבי רב-שלבי
לימוד מודלים לייצר רצף של עשר או שלושים תמונות עם קו עלילתי עקבי.
- יצירת כתוביות לפרקי אנימציה
פיתוח מערכות שיודעות לתאר התרחשויות דינמיות מרובות פריימים.
- הערכת עקביות חזותית
בדיקת היכולת של מודלי שפה ותמונה לשמור על דמות קבועה לאורך עלילה.
איפה זה נופל
הנתונים כולם באנגלית ומבוססים על שלוש סדרות אנימציה מערביות בלבד, כך שאין כאן מגוון סגנוני אמיתי, אין שום ייצוג לעברית, ואין צילומים מהעולם האמיתי. מודל שילמד מכאן יידע לעבוד רק על אנימציה בעלת קו עלילתי ספציפי מאוד. הכרטיס גם לא מפרט כיצד נוצרו או סוננו הטקסטים, ולא ידוע אם הם נכתבו על ידי אדם או שנוצרו אוטומטית.
שאלות
נפוצות
האם הדאטהסט כולל טקסטים בעברית?
לא. כל הנתונים מוגדרים תחת השפה האנגלית בלבד, ואין במאגר תרגום או ייצוג לשפות נוספות.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון הכללי הוא אומנם Apache 2.0, אבל התמונות מגיעות ממותגי אנימציה מסחריים קיימים כמו ג'ורג' הסקרן. בנוסף קיימת החרגה של רכיבי צד שלישי המנוסחת בקובץ רישיון ייעודי במאגר, ולכן שימוש מסחרי עלול להיתקל בבעיית זכויות יוצרים.
איך הנתונים מאורגנים בתוך הקבצים?
הנתונים מחולקים לפי שלוש סדרות אנימציה. כל סדרה כוללת קובץ תמונות דחוס וקובץ zip עם מסמכי JSONL, שבהם כל שורה מפרטת נתיבים לשלושים תמונות ואת שלושים פסקאות העלילה שמתאימות להן.
מה נדרש כדי להשתמש בזה בפועל בסביבת פיתוח?
צריך להוריד את קובצי הארכיון, לפרוס את התמונות לתיקיות מקומיות ולבנות צינור טעינה לפי קובצי ה־JSONL. החוקרים מספקים קוד בגיטהאב לחלוקת הסיפורים למקטעים של עשר תמונות ולבניית datapipe יעיל.
איך טוענים
אין צורך לבקש אישור גישה מיוחד כדי להוריד את הקבצים, אבל מדובר בהורדה ידנית של עשרה קבצים שדורשים פריקה וחיבור עצמאי. אתם מורידים את קובצי התמונות ואת קובצי ה־JSONL ומפענחים את שדות ה־images וה־captions. החוקרים ממליצים לחתוך את הסיפורים למקטעים של עשר תמונות כדי לייעל את האימון, ומפנים לסקריפטים ייעודיים בגיטהאב לבניית ה־dataloader.
from datasets import load_dataset
ds = load_dataset("TencentARC/StoryStream")הרישיון
הרישיון המוצהר במאגר הוא Apache 2.0, שמאפשר שימוש חופשי וגם מסחרי ללא דרישה לשיתוף תחת אותו רישיון, ומחייב רק מתן קרדיט. עם זאת, הכרטיס מציין החרגות לרכיבי צד שלישי המפורטים בקובץ רישיון נפרד, והתמונות עצמן נלקחו מסדרות אנימציה מוגנות. מודל מסחרי שמאומן על החומרים האלה דורש בדיקה משפטית זהירה לגבי זכויות היוצרים על התמונות המקוריות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים