standard-chess-games
קוד פתוחLichesscc0-1.02024-09-24
מעל 6.7 מיליארד משחקי שחמט מדורגים מליצ'ס בפורמט פארקט נוח לעיבוד. המאגר מתאים למי שרוצה לאמן מודלים על מהלכים, דירוגים וזמני שעון בלי להסתבך עם קובצי PGN ענקיים.
- 44,880הורדות בחודש
- 74לייקים
מה זה
המאגר כולל 6,771,826,271 משחקי שחמט סטנדרטיים ומדורגים שנערכו באתר lichess.org. הנתונים מגיעים ישירות מקובצי הדאמפ החודשיים של האתר, ועוברים המרה מקובצי טקסט של PGN למבנה טבלאי שמיועד לניתוח נתונים מהיר. אין כאן סינון של רמות משחק, כך שהרשומות מייצגות את כל קשת השחקנים שמשחקים ברשת, ממתחילים מוחלטים ועד רבי אמנים.
המבנה מאורגן במחיצות של Hive לפי שנה וחודש, החל משנת 2013 ועד לעדכונים החודשיים השוטפים. כל שורה מייצגת משחק בודד ומכילה נתונים כמו דירוג השחקנים בשיטת Glicko2 תחת WhiteElo ו־BlackElo, תאריך ושעה בפורמט UTCDate, ואת מהלכי המשחק בעמודת movetext. מאפריל 2017 העמודה הזו כוללת גם זמני שעון לכל מהלך כהערות clk. בערך 6% מכלל המשחקים כוללים גם הערכות עמדה של מנוע Stockfish שנמדדות מנקודת המבט של הלבן.
מתאים ל
- אימון מודלים להערכת עמדות
אימון רשתות עצביות על רצפי מהלכים בשילוב נתוני מנוע הניתוח שקיימים בחלק מהמשחקים.
- ניתוח התנהגות שחקנים לפי דירוג
בדיקת דפוסי ניהול זמן וטעויות נפוצות בהתאם למדדי ה־Glicko2 של השחקנים.
- בניית מנועי פתיחות שחמט
חילוץ סטטיסטיקות על אחוזי הצלחה של פתיחות שונות על בסיס מיליארדי משחקים.
איפה זה נופל
היוצרים מזהירים שהמאגר עדיין בעבודה וייתכנו שינויים שוברים במבנה. רק כשישה אחוזים מהמשחקים מגיעים עם הערכות של מנוע סטוקפיש, כך שאי אפשר להסתמך עליהן לאימון מודל מלא בלי לייצר הערכות לבד. המאגר גם חסר את עמודת התאריך הרגילה ומסתפק ב־UTCDate בלבד. בנוסף, רמת המשחק כוללת המון טעויות של שחקנים חובבים, ומהלכים בפורמט UCI עדיין לא קיימים בקבצים הנוכחיים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון הוא cc0-1.0 שמוותר על כל זכויות היוצרים. אפשר לאמן עליו מודלים מסחריים בלי לשלם תמלוגים ובלי לפרסם את הקוד שלכם.
איך הנתונים נאספו והאם יש בהם כפילויות?
הנתונים נלקחים ישירות מהדאמפים החודשיים של lichess.org וכוללים רק משחקים מדורגים בפורמט סטנדרטי. המאגר מסודר לפי חודשים ושנים כפי שהמשחקים שוחקו בפועל.
מה ההבדל בין המאגר הזה לקובצי ה־PGN הרגילים של ליצ'ס?
התוכן זהה למשחקים הרגילים באתר, אבל כאן המידע כבר מומר לקובצי פארקט עם מחיצות נוחות. זה חוסך את הצורך לפרסר טרה-בייטים של טקסט חופשי ומאפשר לשלוף עמודות ספציפיות ישירות.
האם יש במאגר טקסט בעברית?
לא, המאגר מכיל אך ורק מהלכי שחמט באנגלית, שמות משתמשים, תאריכים ומספרים. אין בו תוכן טקסטואלי חופשי או תמיכה בשפות מעבר לסימוני השחמט המקובלים.
איך טוענים
הנתונים מחולקים ל־26,140 קובצי parquet, ללא צורך באישור גישה מיוחד. כדי לעבוד איתם בלי לחנוק את הזיכרון, פונים ישירות למחיצות הספציפיות לפי שנה וחודש במקום לטעון את כל המאגר בבת אחת. קוראים את הקבצים בעזרת DuckDB, Polars או ספריית datasets תוך סינון מראש. השדות הקריטיים לעבודה הם movetext שמחזיק את רצף המהלכים, WhiteElo ו־BlackElo שקובעים את רמת השחקנים, ו־UTCDate. מי שצריך פורמט PGN מסורתי יצטרך להמיר את העמודות חזרה בעצמו.
from datasets import load_dataset
ds = load_dataset("Lichess/standard-chess-games")הרישיון
המאגר שוחרר ברישיון נחלת הכלל cc0-1.0. המשמעות היא ויתור מלא על זכויות יוצרים, ומותר לעשות בנתונים כל שימוש, כולל מסחרי, מחקרי או הנדסי. אין חובה לתת קרדיט או לשתף עבודות נגזרות באותו רישיון, ומודל שאומן על הדאטהסט הזה פטור מהגבלות רישוי שמקורן בנתונים.