SmallThoughts
קוד פתוחSmallDogeapache-2.02025-03-08
מאגר נתוני חשיבה סינתטיים שמיועד למי שרוצה לאמן מודלי הסקה בלי שרשראות החשיבה המנופחות של DeepSeek R1. הוא מתמקד במענה תמציתי ומדויק במתמטיקה, מדעים, קוד וחידות.
- 386הורדות בחודש
- 47לייקים
מה זה
מדובר במאגר נתונים סינתטי שמבוסס על זיקוק הידע של DeepSeek R1, אבל חותך החוצה את הפטפטת המיותרת של מסלולי ההסקה הארוכים. הרשומות מחולקות לתחומי מתמטיקה, מדעים, תכנות וחידות היגיון, כשהמטרה היא לשמר את שלב הביקורת העצמית וההרהור של המודל, אך בפורמט קצר והדוק בהרבה.
הקובציים מחולקים לשני ספליטים, אימון ובדיקה, שנשמרים כקבצי Parquet. מבנה כל רשומה כולל עמודות בעיה ופתרון לצד עמודת שיחה מלאה, מה שמאפשר לעבוד איתו מיד בלי צורך בניקוי מוקדם או בהנדסת פורמטים נוספת. תהליך הסינון התבסס על פרומפטים שמודעים לרמת הקושי של הבעיה כדי לתמצת את עקבות החשיבה, והקוד המלא שייצר את המאגר פתוח לשימוש.
מתאים ל
- אימון חיזוק עם GRPO
עמודות הבעיה והפתרון מתאימות ישירות לאימון תהליכי חיזוק שמייעלים צעדי פתרון בלי עיבוד מקדים.
- כוונון עדין למודלי קוד
שימוש בעמודת השיחות כדי ללמד מודלים לפתור בעיות תכנות וחידות בצורה ממוקדת וקצרה.
- צמצום אורך חשיבה במודל
אימון מודל קיים להפחתת כמות הטוקנים שהוא מייצר בזמן הסקה מתמטית ומדעית מבלי לאבד דיוק.
איפה זה נופל
הנתונים כולם באנגלית ומבוססים במלואם על תוכן סינתטי שנוצר במודל שפה, כך שכל הטיה או טעות עובדתית במודל המקור יכולה לחלחל פנימה. אין כאן תמיכה בעברית, ולפני שמכניסים מודל כזה למוצר יש לבדוק ידנית את איכות הפתרונות בקוד ובמתמטיקה. הכרטיס לא מפרט מבדקי איכות ידניים שנערכו על החומר, כך שאי אפשר להסתמך עליו בעיניים עצומות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון Apache 2.0 מתיר שימוש מסחרי מלא, כולל אימון מודלים למוצרים סגורים. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים ומסמך הרישיון המקורי.
האם יש בדאטהסט תמיכה בשפה העברית?
לא, המאגר מוגדר כמאגר באנגלית בלבד. כל הבעיות, עקבות ההסקה והפתרונות מנוסחים באנגלית, ואימון עליו לא ישפר יכולות נימוק בעברית.
איך המידע נאסף וסונן בפועל?
היוצרים השתמשו בזיקוק נתונים מבוסס DeepSeek R1 והפעילו סינון לפי רמת קושי כדי לחתוך שרשראות הסקה ארוכות מדי. הקוד ששימש להפקה פתוח במאגר הגיטהאב שלהם.
כמה שוקל הדאטהסט ואיך הוא בנוי?
המאגר מכיל בין עשרת אלפים למאה אלף רשומות בסך הכל. הוא מפוצל לשלושה קבצי Parquet, שניים עבור train ואחד עבור test, ונשמר בפורמט טבלאי נוח לטעינה מהירה.
איך טוענים
טוענים אותו ישירות דרך ספריית datasets באמצעות הפקודה load_dataset עם המזהה SmallDoge/SmallThoughts, ללא צורך באישור גישה או מפתחות. הנתונים מגיעים בשלושה קבצי Parquet, שניים לאימון ואחד לבדיקה, בהיקף של עשרות אלפי רשומות. המבנה מותאם ישירות לספריית TRL, כאשר עמודות הבעיה והפתרון מיועדות לאימוני חיזוק מסוג GRPO, ועמודת ההודעות מתאימה מיד לכוונן עדין בשיטת SFT.
from datasets import load_dataset
ds = load_dataset("SmallDoge/SmallThoughts")הרישיון
המאגר מופץ תחת רישיון Apache 2.0 המאפשר שימוש מסחרי, שינוי והפצה של הנתונים ושל מודלים שאומנו עליהם. הדרישה העיקרית היא מתן קרדיט ושמירה על תנאי הרישיון והודעות זכויות היוצרים במקור. אין חובה לשתף מודלים נגזרים תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים