issues-kaggle-notebooks
קוד פתוחHuggingFaceTBרישיון לא דווח2025-03-18
המאגר מרכז דיוני תקלות מגיטהאב ומחברות ניתוח נתונים מקגל שעברו עיבוד מחדש מטקסט המקור של StarCoder2. הוא מתאים למי שרוצה לאמן מודל להבין פתרון באגים וזרימת עבודה אמיתית במדעי הנתונים.
- 764הורדות בחודש
- 21לייקים
מה זה
הנתונים מגיעים משני מקורות נפרדים שעברו ניקוי בצינור של פרויקט StarCoder2. החלק הראשון מכיל אחד עשר מיליארד טוקנים של דיוני תקלות שנאספו דרך GH Archive, כולל כותרת, פתיחת התקלה, ותגובות מרובות משתמשים במבנה שיחה טבעי. החלק השני מורכב ממיליארד ושבע מאות מיליון טוקנים של מחברות קגל ממאגר Meta Kaggle Code, שמוצגות כקוד פייתון בתוך בלוקים של מרקדאון יחד עם מטא-דאטה, תיאור מערך הנתונים ודוגמאות שורות כשהן זמינות.
הסינון בגיטהאב הסיר תגובות בוטים, מענים אוטומטיים במייל, דיונים קצרים ממאתיים תווים ותגובות ארוכות מדי, תוך אנונימיזציה של שמות ופרטי קשר. במחברות מקגל סוננו שגיאות תחביר, קטעים מתחת למאה תווים, וכפילויות שהורידו שבעים ושמונה אחוזים מהנפח המקורי. הטקסט מעובד ללא הטוקנים הייעודיים שהיו בגרסה המקורית של bigcode.
מתאים ל
- אימון מודלים לפתרון באגים
לימוד מבנה שיחה טכני ומעקב אחרי שרשראות פתרון תקלות תוכנה מתוך אחד עשר מיליארד טוקנים של שיחות גיטהאב.
- יצירת מחברות ניתוח נתונים
אימון מודלי קוד על כתיבת פייתון למדעי הנתונים, כולל הבנת הקשר בין מבנה טבלאי לקוד שמנתח אותו.
- הערכת ביצועי מודלי שיחה
בדיקת יכולת המודל להבין שאלות טכניות מורכבות של מתכנתים ולנסח תשובות במבנה רב-שלבי.
איפה זה נופל
הנתונים כוללים רק דיונים ומחברות שעברו את ספי האורך והתחביר, כך שהם מוטים לדיונים מרובי משתמשים ולקוד פייתון בלבד בניתוח נתונים. אין כאן ייצוג לעברית או לשפות שאינן אנגלית, והטקסט משקף שיחות קוד פתוח שעלולות להכיל ספריות ישנות או פתרונות שכבר לא עובדים. בנוסף, למרות שבוצע ניקוי מידע אישי בעזרת StarPII, עדיין צריך לוודא שאין זליגת סודות או מפתחות לפני שמשלבים את המידע באימון מודל לייצור.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא מומלץ. בדף המאגר לא דווח רישיון כלל, למרות שמחברות קגל נלקחו ממאגר ברישיון Apache 2.0. במצב כזה אין אישור שימוש ברור, ועדיף לא לסכן מוצר מסחרי.
האם יש במאגר טקסט בעברית?
לא. המאגר מתבסס על דיוני גיטהאב ומחברות קגל באנגלית בלבד. אם המטרה היא תמיכה בעברית טכנית, תצטרכו לאסוף נתונים ממקורות אחרים.
במה המאגר הזה שונה מ־StarCoder2-Extras?
הוא מבוסס על אותו המקור, אך הוסרו ממנו הטוקנים המיוחדים של StarCoder2. הטקסט עבר המרה למבנה קריא של שאלות ותשובות במרקדאון טבעי.
איך סוננו הנתונים ממידע רגיש?
המאגר עבר תהליך ניקוי שכלל הסרת פרטים אישיים, שמות משתמש, סיסמאות וכתובות רשת באמצעות כלי הניקוי StarPII. בנוסף הוסרו כפילויות רבות ותגובות אוטומטיות של בוטים.
איך טוענים
טוענים את הנתונים באמצעות load_dataset מהספרייה של Hugging Face תוך ציון המזהה HuggingFaceTB/github-issues-notebooks ובחירת החלוקה הרצויה, issues או kaggle. המאגר כולל שבעים וחמישה קבצים, מתוכם עשרות קובצי parquet מחולקים, ואין דרישה לאישור גישה מקדים או מפתח מיוחד. הטקסט בחלק התקלות מובנה לפי שדות של כותרת, שאלה ותשובות, ובמחברות מקגל הוא בנוי כטקסט מרקדאון הכולל בלוקי קוד פייתון ומבנה נתונים.
from datasets import load_dataset
ds = load_dataset("HuggingFaceTB/issues-kaggle-notebooks")הרישיון
המפרסמים לא דיווחו על רישיון רשמי בדף המאגר. מחברות קגל מגיעות במקור ממאגר תחת רישיון Apache 2.0, אך היעדר רישיון מוגדר למאגר כולו יוצר סיכון משפטי ברור. כל עוד אין הצהרת רישיון מלאה, לא מומלץ להשתמש בנתונים האלה לאימון מודלים מסחריים.