iwara_metadata
קוד פתוחKaggleWebuiרישיון לא דווח2025-06-13
המאגר כולל מטא-דטה של סרטוני אנימציה מאתר Iwara מפברואר 2014 עד יוני 2025. הוא מתאים לניתוח טרנדים, סיווג תוכן ומחקר על מעורבות צופים.
- 171הורדות בחודש
- 27לייקים
מה זה
הנתונים מורכבים מקובצי JSON בודדים לכל סרטון, שנאספו מהאתר Iwara ומאורגנים בארכיוני tar לפי 136 חלוקות חודשיות. כל רשומה מייצגת סרטון יחיד ומכילה פרטים טכניים כמו מזהה, כותרת, תיאור, אורך בשניות, רזולוציה ונתיב קובץ, לצד נתוני מעורבות שכוללים צפיות, לייקים ומספר תגובות. בנוסף יש מידע על היוצר ורשימת תגיות מסווגות.
המאגר אינו מכיל את קובצי הווידאו עצמם אלא רק את נתוני המעטפת. הקבצים מחולקים לפי חודשים מ־2014-02 ועד 2025-06, ללא סינון תוכן מוקדם מצד המפרסם, כך שהרשומות משקפות ישירות את מה שהועלה לאתר באותן שנים.
מתאים ל
- ניתוח מגמות תגיות
מעקב אחרי שינויים בפופולריות של תגיות ונושאים לאורך 136 חודשים של פעילות.
- אימון מודל חיזוי צפיות
בניית מודל להערכת צפיות ולייקים לפי אורך וידאו, שעת פרסום ותגיות תוכן.
- סיווג אוטומטי של תוכן
זיהוי רמת בוטות של כותרות ותגיות על בסיס שדה הסיווג rating שמופיע ברשומות.
איפה זה נופל
הנתונים מגיעים מאתר יחיד שמתמקד באנימציות MMD ולעיתים קרובות בתוכן למבוגרים ברמות סיווג כמו ecchi, כך שיש בהם הטיה מובנית לתחום ספציפי מאוד. הטקסטים של הכותרות והשמות כתובים בעיקר ביפנית ובאנגלית, ואין כאן עברית כלל. בנוסף, הנתונים מתעדים את מצב הסרטון ברגע הדגימה בלבד ומספרי הצפיות או הלייקים אינם מתעדכנים, מה שדורש זהירות לפני שמבססים עליהם הנחות סטטיסטיות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא מומלץ כלל. לא דווח רישיון רשמי עבור המאגר, והמפרסם אף מציין שהוא מיועד לצורכי מחקר בינה מלאכותית בלבד. שימוש מסחרי עלול להפר את זכויות היוצרים או תנאי השימוש של האתר שממנו נאספו הנתונים.
האם יש במאגר טקסטים בעברית?
לא. מדובר בנתונים מאתר אנימציה בינלאומי שפונה לקהל חובבי אנימה, והשפות העיקריות בשמות, בתיאורים ובתגיות הן יפנית, אנגלית וסינית.
איך המידע מאורגן בפועל בתוך המאגר?
הנתונים מחולקים ל־136 תיקיות חודשיות המכסות את התקופה שבין פברואר 2014 ליוני 2025. בתוך כל חודש נשמרים קובצי JSON בודדים עבור כל סרטון, כשהשם של כל קובץ נגזר מכותרת הסרטון עצמו.
האם המאגר כולל את סרטוני הווידאו עצמם?
לא, המאגר מכיל מטא-דטה בלבד. יש בו נתונים מספריים על גודל הקובץ, אורכו ומידותיו, אך קובצי הווידאו בפועל לא נמצאים במאגר הזה.
איך טוענים
טעינת המידע דורשת פריקה של 141 קבצים, רובם ארכיוני tar חודשיים כמו 2014-02.tar ועד 2025-06.tar. אין צורך באישור גישה מיוחד, אך שמות הקבצים בתוך הארכיונים מבוססים על כותרות הסרטונים וכוללים תווים ביפנית ותווים מיוחדים שמחייבים טיפול נכון בקידוד טקסט. בעבודה עם הנתונים חשוב לבצע בדיקות לשדות ריקים, שכן שדות כמו תיאור הסרטון או קישורי הטמעה עשויים להכיל ערכי null.
from datasets import load_dataset
ds = load_dataset("KaggleWebui/iwara_metadata")הרישיון
לא דווח רישיון עבור המאגר. המפרסם מציין שהחומר מיועד למטרות מחקר בינה מלאכותית בלבד ומבקש לציית לתנאי השימוש של הפלטפורמה המקורית. היעדר רישיון רשמי וברור אומר שכל שימוש מסחרי חושף אתכם לסיכון משפטי, ולא מומלץ לאמן עליו מודלים שמיועדים להפצה עסקית.