CodeElo

מה זה

המאגר כולל בעיות תכנות שנאספו עבור מבחן הביצועים קוד אלו, במטרה לבחון יצירת קוד ברמה תחרותית ולהשוות את התוצאות לדירוג אנושי. הרשומות מופיעות בקובץ בדיקה יחיד ומייצגות אתגרי אלגוריתמיקה מורכבים.

המבנה של כל רשומה כולל תיאור, קלט, פלט, אינטראקציה והערות, כולם בפורמט מרקדאון. השדות של הקלט, הפלט, האינטראקציה וההערות יכולים להיות ריקים, כאשר שדה האינטראקציה מכיל מידע רק אם מדובר בבעיה אינטראקטיבית שדורשת תקשורת מול סביבת הבדיקה. אין פירוט בכרטיס לגבי מקורות הגירוד המדויקים של השאלות או אופן הסינון שלהן מעבר למאמר המצורף.

מתאים ל

• הערכת מודלי קוד

  בדיקת יכולת המודל לפתור בעיות אלגוריתמיות ברמה תחרותית ומדידת התוצאה.

• בחינת בעיות אינטראקטיביות

  הרצת מודלים מול שאלות תכנות שדורשות משוב רציף מסביבת הבדיקה.

• כיול מדדי דירוג

  השוואת ביצועי מודלים שונים על אותו סט מבחן לצורך חישוב ציוני איכות.

איפה זה נופל

הנתונים מוגבלים לשפה האנגלית בלבד, ואין כאן שום תמיכה בעברית או בשפות אחרות. הכרטיס לא מציין מאיזה תאריכים נלקחו הבעיות או מאילו פלטפורמות תחרותיות ספציפיות, מה שמשאיר סיכון מסוים של זליגת נתונים אם המודל שלכם כבר אומן על פתרונות מהרשת. בנוסף, חסר כאן סט אימון מלא, יש רק קובץ בדיקה, כך שאי אפשר להשתמש בזה ישירות לאימון מודלים אלא רק להערכה.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית הדאטהסטס מתוך הנתיב של קוון, או מורידים ישירות את קובץ הגייסון מתוך המאגר. המאגר פתוח לציבור, אין צורך בבקשת גישה מיוחדת, ויש בו שלושה קבצים בלבד שכוללים את קובץ המבחן ומסמך ההסבר.

בזמן עיבוד הנתונים תצטרכו לטפל ברינדור של מרקדאון בכל השדות המרכזיים. שימו לב במיוחד לשדה האינטראקציה, כי הוא קובע אם מדובר בבעיה רגילה שמקבלת קלט סטנדרטי ומחזירה פלט, או באתגר אינטראקטיבי שדורש מימוש של הרצה מול סביבה שמגיבה בזמן אמת.

from datasets import load_dataset

ds = load_dataset("Qwen/CodeElo")

הרישיון

המאגר מופץ תחת רישיון אפאצ'י שתיים אפס. הרישיון מתיר שימוש מסחרי מלא, שינוי של הנתונים והפצה מחדש, ואינו מחייב אתכם לפתוח את הקוד או את המודל שתאמנו תחת אותו רישיון. החובה העיקרית היא שמירה על הודעת זכויות היוצרים והייחוס למחברים המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗