wikidata

מה זה

המאגר מכיל 73,769,737 רשומות שמייצגות ישויות ומאפיינים מתוך ויקינתונים, לאחר סינון של מאמרים אקדמיים מתוך דאמפ מקורי שכלל 120,182,414 פריטים. כל רשומה כוללת מזהה ייחודי מסוג QID לישות או PID למאפיין, שמות, תיאורים וכינויים בכל השפות הזמינות במיזם. בנוסף נשמרים קישורים לדפים מקבילים בפרויקטים של ויקימדיה כמו ויקיפדיה, ויקימסע וויקיטקסט.

ההבדל המשמעותי בין המאגר הזה למקור הוא פתרון התוויות בתוך הטענות. במקום להשאיר רק מזהים גולמיים של תכונות וישויות, היוצרים הצמידו תוויות ישירות לטענות, כולל ערכים, מקורות, דירוגים ומאפיינים נוספים, כדי לאפשר קריאה רציפה של המידע בלי לבצע שאילתות הצלבה נפרדות לכל שדה.

מתאים ל

• אימון מודלים לקישור ישויות

  מיפוי שמות וכינויים מתוך טקסטים חופשיים ישירות למזהי ישויות קבועים.

• בניית גרפי ידע לחיפוש

  הזנת מנועי חיפוש ביחסים מובנים בין ישויות ללא צורך בהצלבת מזהים נפרדת.

• העשרת פרופילים של ישויות

  שליפת תיאורים, קישורים לוויקיפדיה ומאפיינים עובדתיים על מושגים ואישים.

איפה זה נופל

במאגר הוסרו מאמרים אקדמיים, כך שהוא לא מתאים למי שמחפש מידע ביבליוגרפי או ניתוח של ספרות מדעית. בנוסף, אף שהמאגר תומך בכל שפות ויקינתונים, רמת הכיסוי של תיאורים, שמות וטענות בעברית תלויה בעריכות שנעשו במיזם עצמו, והיא לרוב נמוכה יותר מאשר באנגלית. יש לשים לב גם לתאריך הדאמפ המצוין בתיעוד, 7 במאי 2026, שהוא תאריך עתידי שנרשם בכרטיס המקור ואינו תואם תאריך אמת שחלף.

איך טוענים

הנתונים מחולקים ל־7,451 קבצי parquet בתוך תיקיית data, והגישה אליהם פתוחה לחלוטין ללא צורך באישור מראש. בגלל כמות הקבצים וההיקף של עשרות מיליוני רשומות, כדאי לטעון אותם בחלקים או בהזרמה ולא להוריד את כל המאגר בבת אחת לזיכרון מקומי. השדות המרכזיים לעבודה כוללים את המזהים, התוויות בשפות השונות, והטענות המובנות שמכילות את עיקר הידע.

from datasets import load_dataset

ds = load_dataset("philippesaade/wikidata")

הרישיון

המאגר מופץ תחת רישיון CC0 1.0, שמשמעותו שחרור לרשות הציבור. אפשר להשתמש בו לכל מטרה, כולל שימוש מסחרי ואימון מודלים, ללא חובת ייחוס וללא דרישה לשתף את התוצרים באותו רישיון.

הרישיון המלא ב־Hugging Face ↗