stackoverflow-kubernetes-questions

מה זה

הנתונים מגיעים ישירות מרשת סטאק אקסצ'יינג' ונאספו באמצעות כלי הנתונים הרשמי שלהם. המאגר מכיל צמדים של שאלות ותשובות שתוייגו במקור עם התגית של קוברנטיס, כך שכל רשומה ממוקדת סביב בעיות טכניות בעולם הזה.

הסינון שעשו כאן מתבסס רק על הצבעות הקהילה. עבור כל שאלה נבחרה התשובה שקיבלה את הניקוד החיובי הגבוה ביותר, וכל פוסט שצבר ניקוד שלילי נזרק החוצה. אין כאן חלוקה מובנית לסט אימון ובדיקה, אלא רק ריכוז של כל השאלות שעברו את הרף, בסדר גודל שנע בין עשרת אלפים למאה אלף פריטים.

מתאים ל

• אימון מודל לתמיכה טכנית

  כוונון עדין של מודלי שפה כדי שידעו לענות על שגיאות נפוצות של קוברנטיס.

• בדיקת איכות תשובות קוד

  הרצת מבחני ביצועים למודלים קיימים מול פתרונות שקיבלו ציון גבוה בקהילה.

• יצירת מאגר ידע פנימי

  בניית מנוע חיפוש סמנטי לשאלות תשתית על בסיס צמדי שאלה ותשובה.

איפה זה נופל

המאגר כולו באנגלית ואין בו מילה אחת בעברית. הנתונים פורסמו ביוני 2023 ומבוססים על מה שהיה קיים עד אז, כך שפיצ'רים חדשים של קוברנטיס לא מופיעים שם. החיסרון העיקרי הוא שהסינון נשען רק על ניקוד פופולריות ולא על בדיקה הנדסית, ולכן תשובות ישנות עם ניקוד גבוה עלולות להכיל פקודות שכבר נמחקו מהמערכת.

איך טוענים

אין צורך לבקש אישור גישה מיוחד כדי לעבוד עם הקבצים, הכל פתוח להורדה ישירה דרך ספריית הדאטהסטים הרגילה. המאגר כולל ארבעה קבצים, והנתונים עצמם זמינים גם בתיקיית דאטה כקובץ פארקט וגם כקובץ סי אס וי נפרד בשם שמציין שלושים אלף פריטים. הפורמטים האלה מאפשרים לטעון את המידע ישירות לתוך פנדס או מערך אימון בלי המרות מיוחדות. לפני שמתחילים כדאי לחלץ את הטקסט של השאלות והתשובות ולוודא שהשדות תואמים לפורמט הקלט של המודל שלכם.

from datasets import load_dataset

ds = load_dataset("mcipriano/stackoverflow-kubernetes-questions")

הרישיון

המאגר מופץ תחת רישיון cc-by-sa-4.0. הרישיון דורש מתן קרדיט ליוצר, ומחייב שכל יצירה נגזרת תופץ תחת אותו רישיון בדיוק. שימוש מסחרי מותר עקרונית, אך דרישת השיתוף הזהה יוצרת סיכון משפטי סביב מודלים שמאומנים עליו, כי ייתכן שתצטרכו לשחרר את המשקולות או את התוצר באותו אופן.

• שימוש מסחרי
• שינוי הקוד
• חובת שיתוף באותו רישיון

הרישיון המלא ב־Hugging Face ↗