grokipedia-v0.1-dump
קוד פתוחhtriedmanother2025-11-06
המאגר כולל סריקה כמעט מלאה של Grokipedia מסוף שנת 2025, כולל וקטורי שיכון. הוא מאפשר לחקור כיצד המיזם של אילון מאסק שכתב או שינה ערכים בהשוואה לוויקיפדיה המקורית.
- 1,257הורדות בחודש
- 16לייקים
מה זה
הנתונים נאספו כסריקה מובנית של Grokipedia v0.1 שבוצעה בסוף אוקטובר ותחילת נובמבר 2025 לצורך מחקר אקדמי. כל רשומה כוללת את כותרת הערך, הכתובת המקורית שלו, חותמת זמן של מועד הסריקה ואובייקט תוכן מלא. המידע מחולק לפסקאות טקסט נקי, מקטעים היררכיים לפי כותרות, טבלאות, הערות שוליים וקישורים, לצד מטא דאטה שמתעד האם הערך נערך והאם עבר בדיקת עובדות.
בנוסף לטקסט הגולמי, המאגר מחולק לקבצים שכוללים קטעי טקסט חופפים בחלקם באורך 250 טוקנים בפורמט Parquet, לצד וקטורי שיכון תואמים שנשמרו בקובצי npy. החלוקה הפנימית מפוצלת לארבעה מקטעים שונים כדי להקל על עיבוד וניתוח של וקטורי המידע לצד הטקסט.
מתאים ל
- ניתוח השוואתי לוויקיפדיה
בדיקת שינויי ניסוח, מחיקות והטיות של Grokipedia מול המקור בוויקיפדיה.
- אימון מערכות חיפוש וסמנטיקה
שימוש במקטעי 250 הטוקנים ובווקטורים המוכנים לבדיקת מודלי אחזור מידע.
- מדידת הזיות במודלי שפה
הערכת מהימנות עובדתית של אנציקלופדיה שנוצרה בחלקה על ידי מודלים.
איפה זה נופל
כל התוכן במאגר קיים באנגלית בלבד, ומשקף צילום מצב מנקודת זמן אחת בסוף 2025 כך שאינו מתעדכן באופן שוטף. מכיוון שהמקור הוא Grokipedia, הטקסטים עשויים לכלול הטיות מכוונות, שינויי ניסוח פוליטיים או הזיות של מודלי שפה שלא נבדקו ידנית. שדות מסוימים כמו קישורי מקורות וחותמות זמן לבדיקת עובדות מכילים ערכי null, מה שמחייב ניקוי ואימות קפדני לפני שימוש בנתונים להערכת עובדות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מודל מסחרי?
הדבר בעייתי ומסוכן מאוד מבחינה משפטית. חלק מהתוכן שייך ל־xAI תחת תנאי שימוש מגבילים עם שמירת זכויות, וחלק אחר נלקח מוויקיפדיה תחת רישיון שיתוף זהה שמחייב פתיחה של נגזרות. אי אפשר להפריד בקלות בין הדפים בלי בדיקה פרטנית של מקורות כל ערך.
האם המאגר מכיל ערכים בעברית?
לא, המאגר כולל אך ורק ערכים בשפה האנגלית. כל הטקסטים נסרקו מהגרסה האנגלית של המיזם נכון לסוף שנת 2025. מי שמחפש מידע בעברית לא ימצא כאן תועלת ישירה.
באיזה מבנה מגיעים הנתונים והשיכונים?
הטקסט הגולמי מסודר בקובצי שורות JSON שמכילים את מבנה הדף, הכותרות והטבלאות. בנוסף ישנם 36 קבצים במאגר הכוללים פיצול לארבעה חלקים של קובצי Parquet עם קטעי טקסט, לצדם קובצי npy המכילים את וקטורי השיכון המוכנים. המבנה הזה חוסך את שלב הטוקניזציה ויצירת הווקטורים למי שרוצה לגשת ישר למחקר.
במה המאגר שונה מאיסוף ישיר של ויקיפדיה?
Grokipedia אינה העתק מדויק של ויקיפדיה, אלא גרסה ששוכתבה או סוננה על ידי המערכות של חברת xAI. המאגר כולל תיוגים ייחודיים כמו חותמת זמן של בדיקת עובדות וסימון האם הערך עבר עריכה. הוא נבנה במקור כדי לבדוק מחקרית מה בדיוק שונה בין הגרסאות.
איך טוענים
הטעינה מתבצעת ישירות מקובצי המאגר דרך Hugging Face ללא צורך באישור גישה מוקדם. הטקסט המקורי מסודר במבנה של שורות JSON נפרדות בקידוד UTF-8, וקבצי העיבוד הנוספים מגיעים בפורמטים של Parquet ו־npy. שדות המפתח שחשוב לעבוד איתם הם paragraphs לטקסט הרציף, וכן fact_check_timestamp ו־has_edits באובייקט המטא דאטה כדי לסנן ערכים שעברו שינוי.
from datasets import load_dataset
ds = load_dataset("htriedman/grokipedia-v0.1-dump")הרישיון
הרישיון מוגדר כ־other ומציב תסבוכת משפטית לא קטנה. חלק מהתוכן מבוסס על ויקיפדיה באנגלית וכפוף לרישיון CC BY-SA 4.0 שדורש ייחוס ושיתוף זהה, בעוד ערכים אחרים כפופים לתנאי השימוש של xAI ורישיון הקהילה שלה. החוקרים מציינים חובת ציון כי המאגר מופעל על ידי xAI, וערבוב הרישיונות הזה הופך אימון מודל מסחרי עליו לסיכון משפטי לא מבוטל.