Kimi-K2.5-Reasoning-1M-Cleaned
קוד פתוחJackrongapache-2.02026-04-17
שרשראות חשיבה סינתטיות שנוצרו על ידי המודל KIMI-K2.5, עם מעל 844 אלף דוגמאות שעברו ניקוי קפדני. מי שמאמן מודלי חשיבה באנגלית ובסינית ימצא כאן מענה מובנה עם תגיות מסודרות לפתרון בעיות.
- 868הורדות בחודש
- 34לייקים
מה זה
המאגר מכיל 844,388 רשומות לאחר סינון, מתוך 1,003,589 דוגמאות שנלקחו מהמאגר המקורי של ianncity. כל רשומה כוללת שיחה בת שני תורות המפורקת לשדות קלט, פלט עם תגיות חשיבה סגורות, מזהה ייחודי, הגדרת תחום ומטא-דאטה עם ספירת טוקנים ומודל המקור. הסינון הסיר 159,201 רשומות שכללו תשובות קטועות, סירובים, חזרות על פסקאות או פלטים שלא ניתן היה לחלץ מהם את גבולות החשיבה בצורה תקינה.
הנתונים מחולקים לארבע תצורות מקוריות. החלק המרכזי הוא General-Distillation שכולל 553,313 דוגמאות מתחומים כלליים. החלקים הנוספים מתמקדים במדע מתקדם עם 103,307 דוגמאות ב־PHD-Science, פתרון בעיות במתמטיקה עם 97,771 דוגמאות ב־General-Math, ומדעים רב-לשוניים עם 89,997 דוגמאות ב־MultilingualSTEM.
מתאים ל
- אימון מודלי חשיבה
כוונון עדין למודלי שפה על תהליכי חשיבה מפורטים ומובנים באמצעות תגיות ייעודיות באנגלית ובסינית.
- זיקוק יכולות מתמטיות
אימון על פתרון בעיות כמותיות ארוכות ומורכבות תוך שימוש בדוגמאות מתוך תת-המאגר של General-Math.
- בניית מודלים מדעיים
שיפור ביצועים במענה לשאלות מדעיות ברמה אקדמית גבוהה בעזרת החלק של PHD-Science.
איפה זה נופל
הנתונים מוגבלים לאנגלית ולסינית בלבד, ואין כאן עברית כלל. מעבר לזה, מדובר בדאטה סינתטי לחלוטין שהופק על ידי מודל יחיד, מה שעלול להעביר הלאה הטיות או טעויות חשיבה של מודל המקור. בחלק של General-Math הסינון מחק יותר ממחצית מהדוגמאות בגלל בעיות פירסור, מה שמעיד על איכות בעייתית במקור שמחייבת בדיקה מדגמית שלכם לפני אימון מעמיק.
שאלות
נפוצות
האם יש במאגר נתונים בעברית?
לא. המאגר מוגדר רשמית עבור אנגלית וסינית בלבד. גם תת-המאגר שמוגדר כרב-לשוני עוסק בתחומי המדעים בשפות אלו ולא כולל עברית.
כמה מקום צריך כדי להוריד את כל הדאטהסט?
ארבעת קובצי ה־JSONL שוקלים יחד כ־26.06 גיגה-בייט. הקובץ הגדול ביותר הוא General-Distillation שתופס לבדו 14.2 גיגה-בייט.
מה ההבדל בין המאגר הזה למאגר המקורי שממנו הוא נוצר?
המאגר המקורי הכיל שיחות גולמיות עם שגיאות תחביר ופסקאות שחזרו על עצמן. המפרסם הנוכחי סינן כ־159 אלף רשומות פגומות, חילק את התוכן לשדות קלט ופלט ברורים ותיחם את שרשרת החשיבה בתוך תגיות.
האם מותר להשתמש בדאטהסט לפיתוח מודל מסחרי?
רישיון apache-2.0 מאפשר שימוש מסחרי מלא בקוד ובנתונים. יחד עם זאת, הפלט נוצר כולו על ידי המודל KIMI-K2.5, ולכן מומלץ לבדוק את תנאי השירות של חברת moonshotai לגבי שימוש בתוצרי המודל שלהם.
איך טוענים
טוענים את הנתונים ישירות דרך הספרייה של Hugging Face לפי שם התת-מאגר הרצוי, למשל General-Distillation או General-Math, ללא צורך באישור גישה מראש. הקבצים שמורים בפורמט JSONL והנפח הכולל של ארבעת החלקים מגיע ליותר מ־26 גיגה-בייט. השדות המרכזיים לעבודה הם input לשאלת המשתמש ו־output שמכיל את תגיות החשיבה ואת התשובה הסופית. שימו לב שאורכי הפלט ארוכים מאוד, עם חציון של מעל 9,600 טוקנים בחלק המתמטי, כך שנדרש חלון הקשר נדיב באימון.
from datasets import load_dataset
ds = load_dataset("Jackrong/Kimi-K2.5-Reasoning-1M-Cleaned")הרישיון
המאגר מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי, שינוי והפצה של הנתונים ושל מודלים שאומנו עליהם, בכפוף למתן קרדיט ושמירה על תנאי הרישיון. עם זאת, מכיוון שהתוכן נוצר על ידי המודל KIMI-K2.5, יש לוודא שתנאי השימוש של מודל המקור עצמו אינם מגבילים שימוש בפלטים שלו לאימון מודלים מתחרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים