Scaffold-CoT

מה זה

כל רשומה בנויה סביב תבנית קשיחה של שלוש כותרות קבועות בתוך תגית חשיבה: מלאי הכלים והאילוצים, ניתוח יחסי הגומלין ביניהם, וביצוע הפתרון. החלוקה הפנימית מפרידה בין כ־3.06 מיליון דוגמאות של פנייה ותשובה בודדות לבין כ־695 אלף דוגמאות של שיחות מרובות שלבים. הנתונים מכסים 18 תחומים ו־798 תתי תחומים, כשהבולטים שבהם הם קוד, שאלות כלליות, מניעת הזיות ושימוש בכלים חיצוניים. כל רשומה כוללת תיוג מלא של תחום, תת תחום, רמת קושי ואורך.

התוכן הוא סינתטי ועבר סינון אגרסיבי שהשליך בין 30 ל־50 אחוזים מהיצירות. הסינון התבסס על שופט מבוסס מודל שפה, הסרת כפילויות סמנטיות ומכניות, הגבלת אורך ל־2048 טוקנים ווידוא שהשלד המבני לא נשבר. בתחום הכלים ישנן 87,162 דוגמאות שבהן הקריאות לכלים הורצו בפועל מול מערכת אמיתית, והפלט שהוחזר הושתל בטקסט במקום להמציא תוצאה.

מתאים ל

• אימון מודלים קטנים

  לימוד מודלים תחת חמישה מיליארד פרמטרים לחשוב בצורה מדורגת ועקבית לפי תבנית קבועה.

• בלימת הזיות ותיקון טעויות

  כוונון רכיבי שיחה על מאות אלפי דוגמאות של בדיקה עצמית והודאה בגבולות הידע.

• הפעלת כלים ופונקציות

  אימון על שרשראות קריאה לפונקציות שכוללות התמודדות אמיתית עם שגיאות והתאוששות מהן.

איפה זה נופל

ההגבלה הראשונה היא השפה, המאגר כולו באנגלית ואין בו מילה אחת בעברית. מעבר לכך, השלד הקבוע הוא התחייבות עיצובית קשיחה. מודל שילמד עליו יינעל על שלוש הכותרות של המבנה, ולא ידע לייצר חשיבה חופשית או גמישה. פלטי הרצת הכלים חוזרים על עצמם בגלל שימוש בממשקים קבועים, והדאטה כולו נשען על ייצור ממוחשב ושיפוט של מודלים אחרים, מה שמחייב לבדוק איכות נקודתית לפני אימון ייעודי.

איך טוענים

טוענים את המאגר דרך ספריית datasets ישירות מ־Hugging Face ללא צורך באישור גישה. הנפח הכולל הוא כ־15 גיגה בייט המחולקים ל־76 קובצי JSONL, כך שאם הזיכרון מוגבל כדאי להפעיל הזרמה. יש שני מבני נתונים עיקריים שקל להבדיל ביניהם לפי קיומו של השדה messages, ובכל הדוגמאות השדות task_id ו־metadata מאוכלסים במלואם. כדי לאמן על נתח ספציפי, אפשר לסנן בקלות לפי שדות התחום והתת-תחום שנמצאים בתוך המטא-דאטה.

from datasets import load_dataset

ds = load_dataset("Specific-Labs/Scaffold-CoT")

הרישיון

הרישיון הוא CC-BY-4.0. מותר להשתמש בנתונים למטרות מסחריות, לשנות אותם ולשלב אותם בכל פרויקט, כל עוד מעניקים קרדיט מתאים ליוצרים ומציינים אם נעשו שינויים. אין דרישה לפתוח את המודל המאומן או לשתף את התוצרים באותו רישיון.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗