scibench
קוד פתוחxw27רישיון לא דווח2023-07-21
המאגר מרכז בעיות מדעיות ברמה אקדמית שנלקחו ישירות מספרי לימוד. הוא מתאים למי שרוצה לבחון יכולות חישוב והסקה מורכבות במודלי שפה.
- 5,805הורדות בחודש
- 27לייקים
מה זה
הנתונים מבוססים על בעיות מדעיות ברמת קולג' מתוך ספרי לימוד רשמיים. המטרה שלהם היא לבחון ידע מדעי עמוק, יכולות הסקה מורכבות וביצוע חישובים מתקדמים של מודלים. לפי שמות הקבצים, המאגר מחולק לפי מקצועות ונושאים, כולל כימיה, חשבון אינפיניטסימלי ותרמודינמיקה מספרי לימוד מוכרים כמו אטקינס.
המבנה של המאגר מורכב מקובצי בעיות לצד קובצי פתרונות נפרדים, כפי שרואים בקבצים בעלי סיומת sol. החלוקה הזו מפרידה בין השאלות לתשובות, מה שמקל על הרצת מבחנים והערכת תוצאות בלי לחשוף את הפתרון למודל בזמן הריצה.
מתאים ל
- הערכת יכולות הסקה וחישוב
בדיקת היכולת של מודל שפה לפתור בעיות מדעיות מורכבות ברמת אוניברסיטה.
- מבחן ביצועים להנדסת פרומפטים
השוואת שיטות שונות של שרשראות חשיבה מול בעיות מתמטיות וכימיות עם פתרונות מוגדרים.
- ולידציה של פתרונות מדעיים
בחינת יכולת של סוכני קוד להריץ חישובים ולהגיע לתוצאה מספרית מדויקת לפי קובצי הפתרון.
איפה זה נופל
הכרטיס לא מפרט אילו שפות נתמכות, אבל המקור בספרי לימוד בינלאומיים מכוון לכך שהטקסטים באנגלית בלבד. אין כאן עברית. בנוסף, הכרטיס אינו מפרט תהליך סינון, ניקוי, או בדיקה של זכויות יוצרים על התוכן המועתק מהספרים. מי שרוצה להשתמש בזה חייב לבדוק ידנית את המבנה של קובצי הפתרונות, כי חסר פירוט מלא בכרטיס על השדות הפנימיים.
שאלות
נפוצות
האם מותר להשתמש במאגר לצרכים מסחריים?
יש כאן סתירה בין הנתונים, שכן הכרטיס מציין רישיון mit אבל המערכת מסמנת שהרישיון לא דווח. מעבר לכך, התוכן נאסף ישירות מספרי לימוד, מה שיוצר סיכון של זכויות יוצרים על הטקסט המקורי. מומלץ להימנע משימוש מסחרי ישיר ללא בירור.
האם המאגר כולל תוכן בעברית?
לא. החומרים מבוססים על ספרי לימוד אקדמיים באנגלית. המאגר אינו מתאים לבדיקת יכולות בעברית.
איך בנויים הנתונים ומה שמות הקבצים מלמדים?
המאגר מורכב מ־24 קובצי json המחולקים לפי מקצועות כמו כימיה וחשבון אינפיניטסימלי. לצד קובצי השאלות קיימים קובצי פתרונות ייעודיים שמסתיימים ב־sol.json לצורך בדיקת התוצאות.
איך טוענים
המאגר כולל 24 קבצים בפורמט json, כך שאין צורך בכלים מיוחדים ואפשר להוריד ולקרוא אותם ישירות. הגישה חופשית ואינה דורשת אישור מיוחד מהיוצרים. לפני שמתחילים, שימו לב שהשאלות והפתרונות יושבים בקבצים נפרדים, אז תצטרכו למפות בין השניים בקוד ההערכה שלכם כדי להשוות תוצאות מול נתוני האמת.
from datasets import load_dataset
ds = load_dataset("xw27/scibench")הרישיון
בכרטיס עצמו מצוין רישיון mit, אך בנתוני המערכת מופיע שהרישיון לא דווח באופן רשמי. אי ההתאמה הזו מייצרת סיכון משפטי, במיוחד בשימוש מסחרי או באימון מודלים פתוחים. בנוסף, המקור של השאלות הוא ספרי לימוד קיימים, עובדה שמעלה שאלות של זכויות יוצרים על התוכן המקורי. לא הייתי בונה על זה מוצר מסחרי בלי בדיקה משפטית של זכויות הספרים.