codex-math-qa
קוד פתוחtheblackcat102other2023-03-22
פתרון בעיות מילוליות במתמטיקה בעזרת קוד פייתון שנוצר על ידי מודל קודקס הישן. המאגר משמר פלטים גולמיים שנשמרו רגע לפני שסגרו את הגישה הציבורית למודל המקורי של אופן איי איי.
- 171הורדות בחודש
- 31לייקים
מה זה
הנתונים מתבססים על המאגר המוכר מת קיו איי, שכולל שאלות מילוליות בחשבון באנגלית. היוצר הוסיף לכל שאלה הנחיה שמבקשת פונקציית פייתון שתפתור את הבעיה ותדפיס את התוצאה, והריץ הכל דרך המודל קוד דאווינצ'י אפס אפס שתיים. הטמפרטורה הוגדרה לאפס נקודה חמש עם טופ פי של אפס נקודה שבע, ללא סינון או בדיקה של איכות התוצאות לאחר הריצה.
המאגר מחולק לשתי תצורות שונות. התצורה הראשית מכילה שאלות בסיסיות עם עשרים וחמישה אלף דוגמאות אימון, לצד חלוקות אימות ובדיקה של כמה אלפי רשומות. התצורה השנייה כוללת הסבר מילולי מקדים בגוף השאלה, שנועד לעזור בתכנון הלוגי של הקוד, אך היא מציעה רק סטים של אימות ובדיקה ללא סט אימון ייעודי.
מתאים ל
- מחקר על שגיאות קודקס
ניתוח סוגי הכשלים החישוביים ותחביריים של מודל קודקס בפתרון בעיות מילוליות.
- אימון מסנני איכות
בניית מודל ביקורת שמזהה ומנפה קוד פייתון שגוי לפני הרצה.
- בדיקת השפעת רציונל
השוואת איכות הקוד בין פרומפט בסיסי לפרומפט שכולל שלבי חשיבה מילוליים.
איפה זה נופל
הכרטיס מצהיר בגלוי שהתוצאות לא נבדקו כלל. רוב הפתרונות שגויים מבחינה מתמטית וחלקם כוללים שגיאות תחביר שלא ירוצו בכלל. המאגר קיים באנגלית בלבד, ואין פה נתונים בעברית. הריצות בוצעו במרץ אלפיים עשרים ושלוש על מודל ישן שכבר לא זמין באופן חופשי. מי שמתכנן לאמן מודל על החומר הזה חייב להריץ בדיקת תקינות ולהריץ את הקוד בסביבה מבודדת כדי לסנן את הזבל, אחרת המודל ילמד לייצר קוד שבור וחישובים מוטעים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
לא מומלץ בכלל. הרישיון מסומן כאחר וללא הגדרה משפטית ברורה, והנתונים עצמם נוצרו באמצעות מודל מסחרי של אופן איי איי. שימוש מסחרי במצב כזה חושף אתכם לסיכונים משפטיים.
האם יש במאגר נתונים בעברית?
אין עברית כלל. כל השאלות המקוריות, ההנחיות וקטעי הקוד שנכתבו בפייתון מנוסחים באנגלית בלבד.
האם הקוד במאגר באמת פותר את השאלות?
לרוב לא. יוצר המאגר מציין במפורש שרוב התשובות שגויות ושחלק מהקוד מכיל שגיאות תחביר, כיוון שהפלטים נשמרו ישירות מהמודל ללא שום בדיקה.
איך נאספו הנתונים?
השאלות נלקחו מתוך מאגר מת קיו איי הקיים. היוצר שרשר אליהן הנחיה ליצירת קוד פייתון, ושלח הכל כבקשות למודל קוד דאווינצ'י אפס אפס שתיים לפני שנסגר.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית הדאטהסטס הרגילה בפייתון, תוך בחירה בין התצורה הראשית לתצורת הרציונל. המאגר ציבורי לחלוטין ופתוח להורדה בלי צורך באישור גישה מראש או במפתחות אימות מיוחדים.
הקבצים שמורים בפורמט ג'ייסון אל שמחולק לפי סטים של אימון, מבחן ואימות. יש שמונה קבצים במאגר הכוללים גם סקריפט טעינה ייעודי. השדות החשובים ברשומות כוללים את נוסח השאלה המקורי, את ההנחיה שנשלחה למודל, ובחלק מהמקרים את ההסבר המילולי הנלווה יחד עם קוד הפייתון שהתקבל כפלט.
from datasets import load_dataset
ds = load_dataset("theblackcat102/codex-math-qa")הרישיון
הרישיון מוגדר כאחר ולכן אין כאן רישיון קוד פתוח מוכר. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי, ואי אפשר לדעת אילו זכויות יוצרים חלות על הפלטים. בנוסף, החומר נוצר באמצעות ממשק מסחרי של חברת אופן איי איי, מה שמציב מגבלות שימוש נוספות. לא הייתי בונה על זה שום מוצר מסחרי.