Fandom23K
קוד פתוחRyokoAIcc-by-sa-3.02023-03-19
המאגר מרכז מעל 15 מיליון ערכים מכ־23 אלף אתרי מעריצים ברשת Fandom. הוא נבנה כדי להזין מודלים בידע עדכני על תרבות פופ, משחקים וסדרות.
- 513הורדות בחודש
- 32לייקים
מה זה
הנתונים מבוססים על קציר שנערך במרץ 2023 מתוך 23,665 אתרי ויקי ב־Fandom.com. כדי להיכנס לרשימה, אתר ויקי היה צריך להכיל לפחות 250 תמונות נכון לינואר 2023. התוכן הורד, עובד באמצעות wikiextractor כדי לנקות עיצוב למעט קישורים, והומר למבנה JSONL שבו שמות הערכים הפכו לכותרות מרקדאון.
כל רשומה היא מאמר בודד עם שלושה שדות: הטקסט המלא, כותרת המאמר, ותג שמזהה את אתר המקור. אין במאגר חלוקה מובנית לסט אימון, ולידציה או בדיקה, והוא נמסר כגוף טקסט אחיד שמחולק טכנית בלבד לחמישה קבצים.
מתאים ל
- אימון מודלי שיחה
אימון מקדים לשיפור ידע על תרבות פופ, עולמות תוכן של משחקים, סרטים וספרות בדיונית.
- סיווג תחומי עניין
חלוקה אוטומטית של טקסטים לפי שדה התיוג שמצביע על קהילת המקור.
- מחקר סוציולינגוויסטי
ניתוח כתיבה קהילתית ברשת ושיח מעריצים לאורך אלפי נושאים שונים.
איפה זה נופל
היוצרים מציינים בפירוש שהטקסט לא עבר סינון כלל, ונכתב בידי משתמשי אינטרנט אקראיים, כך שאינו מקור סמכותי ועלול לכלול הטיות וטעויות. הם ממליצים להגביל את השימוש לצורכי מחקר בלבד ולא בדקו נוכחות של פרטים אישיים מזהים. השפה העיקרית היא אנגלית, אם כי ייתכנו שפות נוספות בכמויות קטנות בהרבה. בנוסף, ההגדרה של אתר פעיל לפי סף תמונות השמיטה ויקי קטנים אך פעילים.
שאלות
נפוצות
האם המאגר מתאים לשימוש מסחרי?
הרישיון הוא CC-BY-SA 3.0, שמתיר שימוש מסחרי עקרונית. המכשול הוא סעיף השיתוף הזהה, שמטיל סיכון ומחייב לשחרר יצירות נגזרות, ואולי אף את המודל עצמו, תחת אותו רישיון.
האם יש בו תוכן בעברית?
השפה הרשמית המדווחת היא אנגלית. היוצרים מציינים שאולי קיימות שפות נוספות בכמויות קטנות בהרבה, אבל לא כדאי לבנות עליו לעיבוד שפה טבעית בעברית.
איך המידע נאסף?
היוצרים בנו סקריפט שהוריד קובצי dump מ־23,665 אתרים עם מעל 250 תמונות בין 14 ל־18 במרץ 2023. התוכן נוקה בעזרת wikiextractor והומר לשורות JSONL עם תגי מקור.
האם הטקסטים עברו סינון איכות או בדיקת מידע רגיש?
לא. הכרטיס מצהיר שהמאגר לא סונן כלל, ולא נבדקה נוכחות של פרטים אישיים מעבר להנחה שמדובר בתוכן ציבורי בוויקי. הנתונים לא מיועדים לשמש מקור עובדתי מוסמך.
איך טוענים
הנתונים מפוצלים לחמישה קבצי JSONL הממוספרים מ־00 עד 04, לצד רשימת דומיינים. אין צורך באישור גישה כדי להוריד את הקבצים מהמאגר RyokoAI/Fandom23K. בעת הקריאה, מקבלים שורות JSON עם המפתחות text עבור גוף הטקסט, title עבור הכותרת, ו־tag שמציג את שם הוויקי בפורמט fandom.wikiname. מאחר שאין חלוקת splits מוכנה מראש, יש לפצל את הדאטה באופן עצמאי בהתאם למטרת הניסוי.
from datasets import load_dataset
ds = load_dataset("RyokoAI/Fandom23K")הרישיון
הרישיון הוא CC-BY-SA 3.0. הוא מתיר שימוש מסחרי, אך מחייב מתן קרדיט ודורש שכל יצירה נגזרת תופץ תחת אותו הרישיון בדיוק. אימון מודל עלול לחייב שחרור של משקלי המודל ברישיון זהה.