hackercup
קוד פתוחhackercupaiapache-2.02024-06-19
המאגר מרכז את כל בעיות התכנות התחרותי מטורנירי מטא האקר קאפ בין 2011 ל־2023. הוא מיועד למי שרוצה לאמן או לבחון מודלים על פתרון בעיות אלגוריתמיות קשות עם נתוני קלט ופלט מלאים.
- 2,081הורדות בחודש
- 24לייקים
מה זה
הנתונים כוללים את כל הבעיות שהופיעו בתחרות לאורך 13 שנים. המאגר המלא שמור בקובץ פקאן בשם output_dataset.parquet, ומכיל שדות כמו שם הבעיה, השנה, הסיבוב, ניסוח השאלה, קלט ופלט מלאים, דוגמאות קלט ופלט, תמונות מקודדות בבייס64, ולעיתים גם פתרונות מילוליים וקוד פתרון.
לצד קובץ הטבלה יש מעל אלפיים קבצים גולמיים שמחולקים לפי שנים ושלבים. לכל בעיה מצורפים קובצי הטקסט המקוריים של הקלטים והפלטים, וכן ניסוח השאלה. הבעיות מהשנים 2011 עד 2019 נכתבו במקור ב־HTML, ולכן קובצי המרקראון שלהן נוצרו בהמרה אוטומטית שעלולה להכיל שגיאות.
מתאים ל
- הערכת מודלי שפה בקוד
בדיקת יכולת המודל לייצר פתרונות תקינים באלגוריתמיקה מורכבת מול קובצי קלט ופלט מלאים.
- אימון על תכנות תחרותי
כוונון עדין של מודלים לחשיבה מתמטית וקוד בעזרת ניסוחי בעיות, ניתוחים ופתרונות ב־C++, פייתון וג'אווה.
- פתרון בעיות משולבות תמונה
אימון מודלים מולטי-מודאליים על שאלות הכוללות תרשימים שמקושרים מתוך גוף הטקסט.
איפה זה נופל
הבעיות מנוסחות באנגלית בלבד ועוסקות בתכנות תחרותי טהור, בלי שום קשר לפיתוח תוכנה יומיומי. קובצי המרקדאון של בעיות עד 2019 נוצרו בהמרה אוטומטית מדפי רשת ועלולים להיות משובשים, מה שמחייב בדיקה ידנית או עבודה ישירה מול קובצי ה־HTML המקוריים. בנוסף, פתרונות כתובים אינם קיימים עבור כל השנים: לפני 2019 אין פתרונות מרקדאון כלל, וב־2019 הם מופיעים רק כהערות בתוך קובצי C++. יש גם בעיות עם פלטים מרובים אפשריים, שבהן קובץ הפלט הוא רק דוגמה אחת תקפה ולא תשובה יחידה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון הוא אפאצ'י 2.0 והוא מתיר שימוש מסחרי מלא. צריך רק לשמור על הקרדיט ליוצרים ולהצמיד את תנאי הרישיון בהפצה של הנתונים עצמם.
האם יש בעיות או פתרונות בעברית?
לא. כל הבעיות, ההסברים והקוד מקורם בתחרות הבינלאומית של מטא והם באנגלית בלבד.
מה ההבדל בין קובץ ה־Parquet לקובצי התיקיות?
הקובץ המרוכז מאחד את כל הנתונים מ־2011 עד 2023 לטבלה אחת עם שדות טקסט ותמונות מקודדות. התיקיות מכילות את הקבצים הגולמיים המקוריים כמו שהמתחרים קיבלו אותם, כולל קובצי קלט, פלט, HTML וקוד.
האם לכל שאלה יש פתרון מצורף?
לא. פתרונות מילוליים וקוד פתרון קיימים רק עבור חלק מהבעיות. לפני שנת 2019 אין ניתוחי פתרון במרקדאון, ובשנת 2019 הם קיימים רק בתוך קובצי קוד מקור.
איך טוענים
טעינת התצוגה המקדימה כוללת מדגם של עשר שורות בלבד משנת 2023. כדי לקבל את כל השנים מ־2011 עד 2023 צריך להוריד ישירות את הקובץ output_dataset.parquet מתוך המאגר, או לגשת לקבצים הבודדים במבנה התיקיות. אין צורך באישור גישה מיוחד. אם אתם עובדים ישירות עם קובצי הטקסט והקוד, קחו בחשבון שיש שדות חשובים כמו תמונות שמוטמעות כמחרוזות הפניה בגוף הטקסט, ודורשות התאמה מול קובצי התמונה המצורפים.
from datasets import load_dataset
ds = load_dataset("hackercupai/hackercup")הרישיון
המאגר מופץ תחת רישיון אפאצ'י 2.0. הרישיון מאפשר שימוש מסחרי, שינוי והפצה של הנתונים, ואינו מחייב אתכם לשחרר מודלים שאומנו עליו תחת אותו רישיון. החובה העיקרית היא שמירה על הודעות זכויות היוצרים והצהרת הרישיון המקורית של היוצרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים