CodeX-2M-Thinking

מה זה

המאגר כולל כשני מיליון רשומות המחולקות לפי רמות קושי, כאשר 30% מוגדרים כבסיסיים, 30% ברמת ביניים, ו־40% מוקדשים לאתגרים מורכבים כמו מבני נתונים, אופטימיזציה ותכנון מערכות. כל רשומה בנויה משלושה מרכיבים מרכזיים: תיאור הבעיה, תהליך חשיבה מפורט בשלבים, ופתרון קוד סופי שנועד להרצה. הנושאים מכסים תחומים כמו אלגוריתמים, פיתוח ווב, בינה מלאכותית, מערכות הפעלה, מסדי נתונים ותכנות תחרותי, בשפות כמו פייתון, ג'אווה, סי פלוס פלוס וג'אווהסקריפט.

מקור המידע מוגדר כסינתטי לחלוטין. הצוות שילב דוגמאות ממאגרים ציבוריים קיימים, כולל נתונים של אנבידיה, לצד ייצור סינתטי באמצעות מודלים בקוד פתוח וסגור. תהליך הסינון כלל הסרת כפילויות, סטנדרטיזציה של תחביר הקוד, הסרת הערות מיותרות, דירוג איכות לפי מורכבות ויעילות, ובדיקה אנושית מדגמית. המפתחים מדווחים כי כל פתרונות הקוד עברו אימות והרצה בסביבות בדיקה אוטומטיות כמו pytest לפני שנכללו במאגר.

מתאים ל

• אימון מודלי חשיבה לקוד

  לימוד מודלים לייצר הסבר לוגי מפורט בשלבים לפני כתיבת פתרון התכנות בפועל.

• כוונון עדין למודלי הוראות

  שיפור היכולת של מודלי שפה קיימים להבין משימות פיתוח מורכבות ולעקוב אחר הנחיות.

• הערכת ביצועי מודלים

  בדיקת איכות הקוד והיכולת הלוגית של מודלים מול אלפי בעיות ברמות קושי שונות.

• בניית כלי הדרכה למתכנתים

  פיתוח יישומים שמסבירים למשתמשים צעד אחר צעד איך לגשת לאלגוריתמים ולפתור באגים.

איפה זה נופל

הטקסטים במאגר מופיעים באנגלית בלבד ואין בו תמיכה בשפות אחרות. למרות הסינון האוטומטי, מדובר בדאטה סינתטי שיוצר בחלקו על ידי מודלים סגורים, כך שקיימת סכנה מובנית של חזרתיות בסגנון הפתרונות והסברים שנשמעים משכנעים אך מכילים כשלים לוגיים סמויים. הכרטיס אינו מציין אילו גרסאות של שפות וספריות נבדקו, ולכן יש לוודא תאימות של הקוד לסביבות הרצה מודרניות לפני שמבססים עליו מערכות ייצור.

איך טוענים

טוענים את המאגר ישירות דרך ספריית datasets בפייתון באמצעות הפקודה load_dataset עם המזהה Modotte/CodeX-2M-Thinking. הגישה חופשית ואינה דורשת אישור מראש או מפתח מיוחד. המידע מחולק ל־253 קבצי Parquet נפרדים, כך שכדאי להיערך להורדה של נפח נתונים משמעותי ולשקול טעינה בסטרימינג אם עובדים עם זיכרון מוגבל. בכל דוגמה תמצאו את הגדרת הבעיה, שלבי החשיבה והקוד הסופי.

from datasets import load_dataset

ds = load_dataset("Modotte/CodeX-2M-Thinking")

הרישיון

המאגר מפורסם תחת רישיון Apache 2.0 המאפשר שימוש מסחרי, שינוי והפצה ללא עלות, ומבלי לחייב פתיחה של הקוד שלכם באותו רישיון. נדרש לשמור על הודעת זכויות היוצרים והרישיון המקורי. מודלים שתאמנו על הדאטהסט אינם מושפעים ממגבלת שיתוף זהה, אך אם המידע הסינתטי נוצר באמצעות מודלים מסחריים סגורים, תנאי השימוש של אותם מודלי מקור עשויים להגביל שימושים מסוימים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗