CHIMERA
קוד פתוחTianHongZXYapache-2.02026-03-02
מאגר סינתטי קומפקטי שמכוון לאימון יכולות חשיבה מורכבות במודלים. הוא מציע פתרונות ארוכים ומפורטים שנבדקו אוטומטית במגוון תחומי מדעים, שבהם מודלים קיימים נוטים להיכשל.
- 379הורדות בחודש
- 24לייקים
מה זה
המאגר כולל 9,225 בעיות חשיבה מורכבות שמחולקות לשמונה נושאים מרכזיים, בעיקר מתמטיקה, מדעי המחשב וכימיה, לצד תחומים הומניים כמו היסטוריה ובלשנות. כל הדוגמאות הופקו באופן סינתטי לחלוטין ללא מעורבות אנושית. פתרון המקור והתשובה הסופית נבנו באמצעות GPT-5 כדי להגדיר אמת מידה אמינה.
המבנה של כל רשומה כולל את השאלה, התחום, תת הנושא, התשובה הסופית ושני נתיבי פתרון נפרדים. מסלול החשיבה המלא מגיע מהמודל Qwen3-235B-A22B-Thinking-2507, ולצידו נשמר פתרון הייחוס המקורי. בנוסף, כל פתרון כולל אימות ממוחשב שקובע אם הניתוח תואם לתשובה הסופית, כאשר 7,206 דוגמאות סומנו כנכונות ו־2,019 סומנו כשגויות.
מתאים ל
- אימון מונחה לחשיבה
אימון מודלים על שרשראות חשיבה ארוכות באמצעות 7,206 הדוגמאות שנמצאו נכונות.
- למידת חיזוק ומשוב
שימוש בפתרונות הנכונים והשגויים לבניית מודלי תגמול או הערכת איכות שלבי פתרון.
- מבחן עמידות למודלים
בדיקת יכולות פתרון בעיות קשות במדעים על משימות שמודלים קטנים נוטים להחמיץ.
איפה זה נופל
הנתונים כולם באנגלית ומבוססים על יצירה סינתטית, כך שאין כאן שום מידע בעברית. המפתחים עצמם מציינים שהפתרונות עלולים לכלול אריכות יתר או דפוסי ניסוח מלאכותיים של המודלים שיצרו אותם. מעבר לכך, האימות נעשה על ידי GPT-5 ו־o4-mini ולא בידי בני אדם, מה שמשאיר שגיאות סמויות בפנים ומחייב בדיקה עצמאית לפני הטמעה במערכות רגישות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
רישיון Apache 2.0 מתיר שימוש מסחרי ללא תמלוגים. עם זאת, כיוון שהטקסטים נוצרו על ידי GPT-5 ו־Qwen, כדאי לבדוק שתנאי השירות של אותם מודלים מאפשרים אימון מוצרים מסחריים מתחרים.
האם יש במאגר שאלות בעברית?
לא, המאגר כולו מוגדר ומנוסח בשפה האנגלית בלבד. אם המטרה היא להעריך יכולות חשיבה בעברית, תצטרכו לתרגם את השאלות או לפנות למקורות אחרים.
איך נאספו ואומתו הנתונים?
שאלות המחקר ותשובות הבסיס סונתזו ישירות באמצעות GPT-5. מסלולי החשיבה הארוכים הופקו על ידי מודל Qwen3-235B-A22B-Thinking-2507, ואומתו מול התשובה הסופית בעזרת בדיקות אוטומטיות של GPT-5 ו־o4-mini ללא בדיקה אנושית.
מה מבדיל אותו ממאגרי חשיבה סינתטיים אחרים?
בניגוד למאגרים שמתרכזים רק במתמטיקה, כאן יש חלוקה לשמונה נושאים כולל כימיה, פיזיקה ומדעי הרוח. רמת הקושי שלו גבוהה מהרגיל, והיוצרים הראו שמודלי חשיבה פתוחים מתקשים בו משמעותית לעומת חלופות קיימות.
איך טוענים
הנתונים מחולקים לשני קובצי Parquet תחת תת המאגר Qwen3-235B-2507, כך שטוענים אותם ישירות דרך ספריית datasets בלי צורך באישור גישה מיוחד. בגלל שמדובר בפחות מעשרת אלפים שורות, ההורדה מהירה והעיבוד קל גם על מחשב מקומי. השדה החשוב ביותר לסינון ראשוני הוא Correctness, שמאפשר לכם לבודד פתרונות נכונים לאימון מונחה, או להשתמש בשגויים לצורך אימון מבוסס תגמול.
from datasets import load_dataset
ds = load_dataset("TianHongZXY/CHIMERA")הרישיון
המאגר מופץ תחת רישיון Apache 2.0 המאפשר שימוש מסחרי, שינוי והפצה של הנתונים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי. הרישיון אינו כופה עליכם לשחרר את המודלים שתאמנו באותו אופן. עם זאת, מכיוון שהתוכן נוצר באמצעות GPT-5 ודגמי Qwen, עליכם לוודא שתנאי השימוש של ספקי המודלים הללו אינם מגבילים את הפיתוח העסקי שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים