Open-Sora-Plan-v1.1.0
קוד פתוחLanguageBindmit2024-05-16
אפשר גם להריץ אותו בדפדפן בלי להתקין דבר.
המאגר מרכז קובצי וידאו ברזולוציית 1080p ותיוגים לאימון מודלים של יצירת וידאו. הוא חוסך איסוף ידני מאתרים חינמיים ומסדר את החומר לפי קטגוריות נושאיות.
- 78,054הורדות בחודש
- 46לייקים
מה זה
המאגר מורכב מאוספי וידאו שנאספו מאתרים כמו Pexels, Pixabay ו־Mixkit. הקבצים מחולקים לארכיוני tar לפי נושאים ספציפיים, כמו מטוסים, תינוקות, אופניים, חתולים ומכוניות. כל סרטוני הווידאו עברו התאמת גודל לרזולוציית 1080p כדי לעמוד במגבלות ההעלאה לרשת, מה שיצר שינויים בשמות הקבצים ביחס לנתונים המקוריים.
בנוסף לווידאו, המאגר מתייחס לחלקי דאטה חיצוניים שמיועדים לעבודה משולבת. עבור Anytext-3M המפרסמים צירפו קובצי תיוג בלבד, בעוד שאת התמונות עצמן צריך להוריד ישירות מהפרויקט המקורי. נתוני SAM של מטא אינם נמצאים כלל במאגר, והמשתמש מופנה להוריד אלף קבצים מכווצים מאתר הפרויקט הרשמי שלהם.
מתאים ל
- אימון מודלי וידאו
אימון והרצה של מודלים מבוססי טקסט לווידאו ברזולוציית 1080p על בסיס קטגוריות מוגדרות.
- בדיקת איכות יצירה
שימוש בסרטוני הסטוק כבנצ'מרק חזותי לבחינת חדות, תנועה וריאליזם של מודלים קיימים.
- אימון מודלי טקסט בתמונה
שילוב קובצי התיוג של Anytext לאימון מודלים שממקמים טקסט בתוך תוכן חזותי.
איפה זה נופל
החיסרון הבולט הוא הבלאגן הלוגיסטי בהרכבת החומר. הנתונים לא מגיעים מוכנים לשימוש מידי, וחלקים כמו התמונות של SAM ו־Anytext דורשים הורדה נפרדת לחלוטין ממקורות חיצוניים. שינוי הרזולוציה ל־1080p פגע בהתאמה בין שמות הקבצים לתיוגים, ויש לפנות לדיון בגיטהאב כדי להבין איך לחבר ביניהם. בנוסף, מדובר בסרטונים מאתרי סטוק כלליים, כך שאין כאן התאמה ייעודית לעברית או מגוון רחב מחוץ לתכנים פופולריים ברשת.
אותה משפחה
Open-Sora-Plan יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המאגר כולל את כל המידע שצריך לפרויקט?
לא. חלק מהתכנים נמצאים במאגר כקובצי ארכיון, אך נתוני SAM דורשים הורדה של אלף קבצים מאתר מטא, ול־Anytext מסופקים תיוגים בלבד ללא התמונות.
האם מותר להשתמש בדאטהסט לפיתוח מודל מסחרי?
הרישיון המוצהר בדף הוא MIT, שמאפשר שימוש מסחרי חופשי ואינו כופה פתיחת קוד. צריך לשים לב שתנאי השימוש בתמונות של SAM כפופים לכללים של מטא ולא לרישיון הדף הזה.
למה שמות קובצי הווידאו לא תואמים לתיוגים?
היוצרים שינו את רזולוציית הווידאו ל־1080p לפני ההעלאה, ותהליך זה יצר חוסר התאמה מול התיוגים המקוריים. הפתרון מפורט בדיון בגיטהאב שקישרו אליו בתיעוד.
האם יש במאגר סרטונים או תיוגים בעברית?
אין במאגר התייחסות לתכנים בעברית. מקורות הווידאו הם אתרי סטוק בינלאומיים והתיוגים מנוהלים באנגלית.
איך טוענים
אין צורך באישור גישה מיוחד כדי להוריד את הקבצים. המאגר כולל 597 קבצים שונים, רובם ארכיוני tar מחולקים, בגלל מגבלות גודל קובץ בשרתים. כדי לעבוד עם Pexels תצטרכו לחבר חמישה חלקים של כל תיקייה לפני החילוץ. ב־Pixabay יש לחלץ את החלקים השונים ולאחד את כל הווידאו לתיקייה אחת, ולשים לב ששמות הקבצים עלולים לא להתאים ישירות לקובצי התיוג המקוריים.
from datasets import load_dataset
ds = load_dataset("LanguageBind/Open-Sora-Plan-v1.1.0")הרישיון
המאגר מפורסם תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אפשר לאמן עליו מודלים חופשיים או מסחריים בלי חובת שיתוף באותו רישיון. עם זאת, יש לוודא את הרישיונות המקוריים של המקורות החיצוניים שנדרש להוריד בנפרד, כמו SAM ו־Anytext.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש