GLM-5.1-1000000x
קוד פתוחclzoroapache-2.02026-04-13
מעל מיליון מסלולי חשיבה מלאים שזוקקו ממודל GLM-5.1 על בסיס שאלות מורכבות. המאגר מתאים למי שרוצה לאמן מודל להסביר את צעדי ההיקש שלו לפני מתן התשובה.
- 228הורדות בחודש
- 47לייקים
מה זה
המאגר מכיל בדיוק 1,003,589 רשומות שמחולקות לארבעה תתי-מאגרים עיקריים. החלק המרכזי נקרא main וכולל 598,366 רשומות של היקש כללי ומעקב אחרי הוראות. החלק השני מוקדש למתמטיקה עם 208,426 דוגמאות. שני החלקים הנוספים מכסים מדעים ברמת תואר שלישי בפיזיקה, כימיה וביולוגיה עם 103,759 רשומות, וכן תחומי STEM רב-לשוניים עם 93,038 דוגמאות. בסך הכל המאגר מקיף כ־5.36 מיליארד טוקנים מוערכים.
מבחינת מקור המידע, השאלות עצמן נלקחו מתוך המאגר KIMI-K2.5-1000000x, והתשובות נוצרו כולן על ידי מודל המורה GLM-5.1. כל רשומה מעוצבת כשיחה עם שאלת משתמש ותשובת עוזר, שבה מופיע תג חשיבה פנימי מפורט עם שלבי הניתוח, ואחריו התשובה הסופית. הכרטיס אינו מפרט תהליכי סינון ידניים או בדיקות איכות נוספות שנעשו לאחר הפקת הטקסט מהמודל.
מתאים ל
- אימון שרשרת חשיבה
לימוד מודלים קטנים לבצע צעדי חשיבה מפורטים לפני שליפת תשובה.
- פתרון בעיות מתמטיות
כוונון עדין על חלק ה־Math לשיפור יכולות חישוב ופתרון משוואות.
- היקש מדעי מתקדם
אימון על שאלות ברמת בוגר בפיזיקה, כימיה וביולוגיה.
איפה זה נופל
הנתונים הם תוצר של זיקוק סינתטי מלא ממודל יחיד, ללא בקרה אנושית מדווחת או בדיקת עובדות של פתרונות הקצה. שפות המקור המוצהרות הן אנגלית וסינית בלבד, כך שאין כאן עברית כלל, ולא הייתי בונה על זה לאימון מודל מקומי. מעבר לזה, המאגר נושא עמו את כל ההטיות והשגיאות הפוטנציאליות של GLM-5.1 בתחומי המדעים והחישוב, מה שמחייב הרצת בדיקות תקינות עצמאיות לפני שילוב שלו במערכת שדורשת דיוק עובדתי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המדווח הוא Apache 2.0, שמתיר שימוש מסחרי ואימון מודלים ללא תשלום תמלוגים. עליכם רק לשמור על תנאי הייחוס והודעת הרישיון של המפרסם.
האם המאגר כולל תוכן בעברית?
לא, השפות המוגדרות במאגר הן אנגלית וסינית בלבד. חלק ה־STEM הרב-לשוני כולל שפות נוספות, אך עברית אינה חלק מהן ולא קיימת בדאטהסט.
מאיפה הגיעו הנתונים והאם הם אמינים?
השאלות הועתקו ממאגר קודם בשם KIMI-K2.5-1000000x, והתשובות הופקו אוטומטית באמצעות GLM-5.1. מכיוון שמדובר בפלט מכונה שלא עבר אימות אנושי מדווח, עלולות ליפול בו טעויות היקש.
איך מחולק המידע בין הקבצים השונים?
המאגר מפוצל לארבעה קבצי jsonl עיקריים לפי תחומים, כאשר רוב הנפח נמצא בחלק הכללי main. שאר הנתונים מחולקים למתמטיקה, מדעים מתקדמים ותחומי STEM רב-לשוניים.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות פקודת load_dataset עם ציון תת-המאגר הרצוי, כגון main, Math, PHD-Science או Multilingual-STEM. הקבצים מאוחסנים בפורמט jsonl, והגישה אליהם פתוחה לחלוטין ללא צורך באישור מיוחד. המבנה פשוט מאוד וכולל שני שדות בלבד, מזהה ייחודי מסוג id ומערך messages שמכיל את תוכן השאלה והתשובה יחד עם תגי החשיבה. בגלל היקף הנתונים שמגיע לממוצע של מעל 5,300 טוקנים לרשומה, כדאי להביא בחשבון נפח אחסון משמעותי וזמני עיבוד ארוכים בהורדה ובאימון.
from datasets import load_dataset
ds = load_dataset("clzoro/GLM-5.1-1000000x")הרישיון
המאגר מופץ תחת רישיון apache-2.0, שמאפשר שימוש מסחרי חופשי, שינוי של המידע והפצה מחדש. אין דרישה לשתף את השינויים תחת אותו רישיון, אך חובה לשמור על הודעות זכויות היוצרים והייחוס המקוריות. מודל שתאמנו על הדאטהסט אינו מחויב להיפתח לציבור לפי תנאי הרישיון הזה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים