github-repos-metadata-40M
קוד פתוחibragim-badmit2025-08-25
מטא-דאטה של 40 מיליון מאגרי גיטהאב עם נתוני פעילות, כוכבים ושפות. הוא מתאים למי שבונה מודלים לחיזוי פופולריות או מנתח מגמות קוד בלי לגרד את ה־API של גיטהאב.
- 561הורדות בחודש
- 23לייקים
מה זה
המאגר מרכז שורות ברמת הריפו הבודד, שנאספו מתוך הזרם הציבורי של GH Archive עד סוף יולי 2025. כל רשומה כוללת את שם המאגר, שפת הפיתוח הראשית, תיאור טקסטואלי לצד זיהוי אוטומטי של שפת הטקסט ורמת הוודאות שלו, תאריך יצירה, רישיון, גודל ב־KB, ומספרים על כוכבים, מזלוגים ומזהה ה־PR האחרון. ערכים שלא היו קיימים במקור מופיעים פשוט כ־null.
הבנייה של הדאטה התבססה על סינון של אירועי יצירת מאגרים ואירועי Pull Requests, שמהם נשלפו המאפיינים העדכניים ביותר שנצפו בחלון הזמן. מבחינת חלוקה, המאגר מציע שתי תצורות: split מלא בשם full שנפרס על פני שישה קובצי parquet, וגרסת sample בקובץ בודד שמכילה מדגם אקראי של מיליון מאגרים לבדיקות מהירות.
מתאים ל
- חיזוי פופולריות של פרויקט
אימון מודלים שמנבאים כוכבים או מזלוגים לפי שפת פיתוח, אורך התיאור וגודל הריפו.
- ניתוח מגמות בשפות תכנות
מעקב אחרי התפלגות וצמיחה של שפות קוד שונות על פני ציר זמן מתוך עשרות מיליוני מאגרים.
- סינון וטיוב מאגרי קוד
שימוש במטא-דאטה כדי לבחור מאגרים פעילים עם רישיון פתוח לפני הורדת קבצי קוד מלאים.
איפה זה נופל
יש פה הטיה מובנית משמעותית: רוב הנתונים הגיעו מתוך אירועי Pull Requests, מה שאומר שמאגרים שלא פתחו בהם PR בכלל פשוט לא נכנסו לכאן. בנוסף, הנתונים הם תמונת מצב היסטורית עד יולי 2025 ולא סנכרון חי, כך שמספרי הכוכבים והמזלוגים עשויים להיות נמוכים מהמצב הנוכחי בגיטהאב. המאגר מכסה רק פרויקטים ציבוריים, ואינו כולל שום מידע על קוד פנימי או פרטי. שדות רבים עלולים להכיל ערכי null אם המידע לא הופיע באירוע המקורי, ויש את הבלבול ההיסטורי של גיטהאב בין watchers ל־stargazers שצריך לקחת בחשבון כשמנתחים מדדי עניין.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
כן, הרישיון המדווח הוא MIT. הוא מאפשר שימוש מסחרי חופשי, בתנאי ששומרים על הודעת זכויות היוצרים של היוצר. אין דרישה לשתף את הקוד של המוצר שלכם או לשחרר אותו ברישיון פתוח.
האם יש במאגר תיאורים בעברית?
המאגר כולל עמודת description_language שמזהה את שפת התיאור בקוד תקני יחד עם ציון ודאות. אם מישהו כתב תיאור בעברית למאגר שלו, הוא יופיע שם עם הסימול המתאים, אך שפת הפיתוח והשמות של רוב המאגרים הם כמובן באנגלית.
מאיפה הנתונים הגיעו והאם הם מעודכנים?
המידע נאסף מתוך GH Archive, מאגר האירועים הציבורי של גיטהאב, עד לתאריך 23 ביולי 2025. הוא לא מתעדכן בזמן אמת, ולכן פעילות שהתרחשה אחרי חלון הזמן הזה או שינויים שקרו במאגרים מאז לא משתקפים כאן.
האם הדאטהסט כולל את קבצי הקוד עצמם?
לא, מדובר במטא-דאטה בלבד ברמת המאגר. תקבלו שדות כמו גודל, שפה, כמות כוכבים ותיאור, אבל אין בפנים שורות קוד, עצי קבצים או תוכן של קומיטים.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets בפייתון בעזרת הפקודה load_dataset עם המזהה של המאגר. אין צורך באישור גישה מיוחד או בהרשמה מוקדמת, הגישה פתוחה לחלוטין. אם אתם רק רוצים לראות איך המבנה נראה, עדיף לטעון את ה־split שנקרא sample במקום את full, כי מדובר במיליוני רשומות שמחולקות לשישה קבצי parquet נפרדים. השדות המרכזיים שתרצו לבדוק מיד הם repo_name, language, watchers_count ו־last_pr_id.
from datasets import load_dataset
ds = load_dataset("ibragim-bad/github-repos-metadata-40M")הרישיון
המאגר מופץ תחת רישיון MIT. זהו רישיון מתירני שמאפשר שימוש מסחרי, מחקר, שינוי והפצה של הנתונים, ואינו מחייב אתכם לפתוח את הקוד שלכם או לשתף תוצרים באותו רישיון. החובה היחידה היא לשמור על הודעת זכויות היוצרים והרישיון המקורי בקבצים הרלוונטיים. מודלים שאומנו על המטא-דאטה הזה אינם כבולים למגבלות שיתוף מיוחדות מצד הרישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש