Marvel_network
קוד פתוחShimizuYukiafl-3.02024-02-20
נתוני גרף של דמויות מארוול והופעות משותפות בחוברות קומיקס. שימושי בעיקר כמודל צעצוע לבדיקת אלגוריתמים של תורת הרשתות כמו זיהוי קהילות וחיזוי קשרים, על בסיס נתונים מוכרים.
- 145הורדות בחודש
- 39לייקים
מה זה
המאגר מציג רשת חברתית שנבנתה מתוך חוברות הקומיקס של מארוול, במקור לצורך מחקר אקדמי שהישווה אותה לרשתות שיתוף פעולה אמיתיות בעולם. הנתונים עצמם מגיעים מעיבוד של קלאודיו סאנהואזה מקגל, שמבוסס על המאמר של אלבריך, מירו ורוסלו מ־2002.
התוכן מחולק לשלושה קבצים עיקריים בפורמט טבלאי. הקובץ הראשון ממפה הופעה של שני גיבורים יחד בחוברת קומיקס מסוימת בשלוש עמודות. הקובץ השני הוא רשימת סמיכויות שמסכמת את מספר ההופעות המשותפות של כל זוג גיבורים. הקובץ השלישי הוא מטריצת סמיכויות מלאה בגודל של 6,267 על 6,267 גיבורים, שבה התאים מציגים את כמות החוברות המשותפות, והאלכסון מציג את סך ההופעות הכולל של כל דמות.
מתאים ל
- זיהוי קהילות ברשת
חלוקת הגיבורים לקבוצות לפי חיבורים משותפים, והשוואת התוצאות מול התארגנויות ידועות מראש כמו האוונג'רס.
- חיזוי קשרים בגרף
הרצת אלגוריתמים שמנחשים אילו גיבורים צפויים להופיע יחד בעתיד על סמך מעגלי ההיכרות הקיימים שלהם.
- בדיקת חוסן רשת
סימולציה של פגיעה בצמתים מרכזיים, כמו מחיקת חצי מהדמויות, כדי למדוד איך המבנה הכללי שורד ומחזיק מעמד.
איפה זה נופל
זה לא מאגר טקסטואלי לאימון מודלי שפה, ואין פה עברית או טקסט חופשי מעבר לשמות באנגלית. הנתונים מקורם במאמר מ־2002, כך שהם לא משקפים קווי עלילה, חוברות או דמויות שיצאו בשני העשורים האחרונים. בנוסף, מדובר ברשת שנבנתה מבדיון, ולמרות המאפיינים הדומים לרשת אמיתית, היא לא מתאימה למי שמחפש רשתות של אנשים אמיתיים למוצר ייצורי.
שאלות
נפוצות
האם מותר להשתמש בנתונים האלה לפרויקט מסחרי?
הרישיון של המאגר הוא רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, בתנאי ששומרים על הייחוס ועל זכויות היוצרים המקוריות. עם זאת, שמות הדמויות והחוברות שייכים למארוול, ולכן מוצר מסחרי שמשתמש במותגים האלה עלול להיתקל בבעיות קניין רוחני שלא קשורות לרישיון הקוד עצמו.
האם יש במאגר עברית?
לא. כל הנתונים, שמות הדמויות וכותרות החוברות הם באנגלית בלבד. אם המטרה היא מיפוי ישויות או תרגום בעברית, תצטרכו לתרגם את השמות בעצמכם או לבנות מיפוי חיצוני.
איך הנתונים האלה נאספו?
הבסיס נאסף במקור על ידי חוקרים מאוניברסיטת האיים הבלאריים שסרקו הופעות משותפות של גיבורים בחוברות קומיקס, ופורסם במחקר מ־2002. המאגר הנוכחי מעבד מחדש סט נתונים שהועלה לקגל על ידי קלאודיו סאנהואזה.
איך טוענים את מטריצת הסמיכויות?
הכרטיס מציין במפורש שאי אפשר לגשת לקובץ מטריצת הסמיכויות דרך קונפיגורציה אוטומטית ישירה של הספרייה. צריך להוריד את הקובץ ישירות לפי שמו מתוך המאגר כדי לפתוח אותו בקוד.
איך טוענים
המאגר ציבורי לחלוטין ולא דורש אישור גישה מיוחד. בתוך המאגר ישנם סקריפטים ומחברות פייתון לטעינה ועיבוד, אבל את מטריצת הסמיכויות אי אפשר לטעון ישירות דרך הגדרות טעינה רגילות, אלא צריך להוריד לפי שם הקובץ. שדות המפתח הם שמות הגיבורים, מזהי החוברות ומספרי ההופעות המשותפות. הנתונים שוקלים מעט יחסית וכוללים בין עשרת אלפים למאה אלף שורות, כך שלא תצטרכו משאבי חומרה חריגים כדי להריץ אותם.
from datasets import load_dataset
ds = load_dataset("ShimizuYuki/Marvel_network")הרישיון
המאגר מפורסם תחת רישיון Academic Free License גרסה 3.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, וכולל הענקת רישיון פטנטים, אבל דורש שמירה על הודעות זכויות היוצרים והייחוס המקורי. הוא לא מחייב הפצה תחת אותו רישיון בדיוק, כך שאימון מודל או בניית כלי על בסיסו לא יחייבו שחרור של הקוד שלכם.