principia-collection

מה זה

המאגר מחולק לשני חלקים עיקריים שכוללים יחד מעל חצי מיליון שאלות ותשובות. החלק הראשון מכיל מאתיים וחמישים אלף דוגמאות שבהן התשובה הנדרשת היא אובייקט מתמטי, למשל משוואות, אי שוויונות, קטעים, קבוצות, מטריצות או פונקציות מפוצלות. אורך התשובה הממוצע שם עומד על כמאה שלושים וחמישה תווים בטוקנים, עם חציון של שבעים ושלושה.

החלק השני כולל שלוש מאות אלף שאלות עם תשובות מספריות רגילות, כמו מספרים שלמים, שברים או שברים עשרוניים, חלקם עם יחידות מידה וחלקם בלי. כל הנתונים, גם השאלות וגם התשובות הנכונות, הם סינתטיים לחלוטין ונוצרו באמצעות המודל GPT-OSS-120B. הנושאים עצמם מבוססים על קטלוגים מדעיים מוכרים, PhySH לפיזיקה וקטלוג MSC 2020 למתמטיקה, וכל רשומה מכילה את ניסוח הבעיה, התשובה הנכונה, סוג התשובה ותגית הנושא.

מתאים ל

• אימון מודלים לחשיבה כמותית

  לימוד מודלים לפתור שאלות מדעיות שדורשות פלט של מטריצות או משוואות.

• שיפור ביצועים במבחני פיזיקה

  הרחבת יכולות ההסקה בפתרון בעיות המבוססות על קטלוג הנושאים PhySH.

• מחקר על דאטה סינתטי מתמטי

  בדיקת ההשפעה של אימון על נתונים שנוצרו על ידי מודל שפה חיצוני.

איפה זה נופל

כל השאלות והתשובות כאן הן דאטה סינתטי שיוצר מודל שפה, בלי תיעוד בכרטיס על בדיקה אנושית שאימתה את נכונות הפתרונות. בנוסף, המאגר קיים באנגלית בלבד. אם תאמנו עליו מודל לעבודה בעברית תצטרכו לתרגם את המונחים הטכניים, מה שעלול לשבור את הניסוחים המתמטיים המדויקים.

פרטי תהליך הסינון המלאים הושארו למאמר שטרם פורסם. המשמעות היא שקשה לדעת כרגע אילו הטיות או שגיאות עקביות של המודל המייצר חלחלו פנימה, ואי אפשר להסתמך עליו בעיניים עצומות כמבחן הערכה אמין לפני שדוגמים ובודקים את התשובות ידנית.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets הרגילה בפייתון בעזרת הפקודה load_dataset עם המזהה של פייסבוק. אין צורך לבקש אישור גישה מראש או להמתין למפתח, המאגר פתוח להורדה ישירה ומגיע בקובצי פרקט שמחולקים לפי הפיצולים השונים.

בעת הטעינה צריך להגדיר איזה חלק רוצים למשוך באמצעות הפרמטר split, כאשר הערכים הזמינים הם mathematical_object לחלק של האובייקטים או numerical לחלק המספרי. השדות המרכזיים שתרצו לעבד באימון כוללים את ניסוח השאלה, התשובה הסופית, סוג התשובה והנושא המדעי שממנו נלקחה.

from datasets import load_dataset

ds = load_dataset("facebook/principia-collection")

הרישיון

הרישיון הוא CC-BY-NC-SA 4.0, מה שאומר שאסור להשתמש בנתונים האלה לשום מטרה מסחרית. מותר להשתמש בהם למחקר או פיתוח פנימי בלבד, תוך מתן קרדיט מלא לפייסבוק. אם אתם משנים את הנתונים או מפיצים אותם הלאה, חובה לעשות זאת תחת אותו הרישיון בדיוק. המגבלה הזו הופכת אותו ללא רלוונטי למי שמתכנן למכור מוצר או שירות שמבוססים על המודל שיאומן.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗