Multilingual-CoT-Collection

מה זה

הנתונים מתבססים על 1060 משימות שונות שנלקחו מתוך Flan Collection. המשימות האלו מכסות מגוון תחומים, החל מחילוץ מידע והסקה לוגית, דרך שאלות במדע, אתיקה וחשבון, ועד זיהוי תוכן פוגעני והרצת תוכנה. המטרה של המפתחים הייתה לייצר הסברים מפורטים שמראים איך מגיעים מהשאלה לפתרון, במיוחד כדי לשפר ביצועים במודלים שאין להם יכולת מובנית לבצע חשיבה כזו בעצמם.

כל רשומה בנויה מארבעה שדות מרכזיים. שדה המקור מכיל את הקלט שמוזן למודל, שדה היעד כולל את התשובה הסופית, שדה הרציונל מפרט את שלבי החשיבה שלב אחר שלב, ושדה המשימה מציין מאיזה מאגר מקורי נלקחה הדוגמה. הקבצים במאגר מחולקים לפי שפות שונות, ביניהן קוריאנית, יפנית, צרפתית, רוסית וסינית, לצד קובץ טעינה בפייתון.

מתאים ל

• אימון מודלים על שרשראות חשיבה

  לימוד מודלי שפה קטנים לנמק צעד אחר צעד לפני מתן תשובה סופית במשימות מורכבות.

• שיפור ביצועי zero-shot

  כוונון מודלים כדי שיבינו טוב יותר הוראות ויענו על משימות חדשות שלא נתקלו בהן.

• הערכת הסברים רב לשוניים

  בדיקת יכולת המודל לייצר נימוקים הגיוניים בשפות כמו צרפתית, רוסית או יפנית.

איפה זה נופל

למרות השם של המאגר, עברית לא קיימת כאן בכלל. הקבצים מכילים שפות כמו רוסית, צרפתית, יפנית, קוריאנית וסינית, ובכרטיס עצמו השפה המוגדרת היא אנגלית בלבד. בנוסף, המקורות נשענים במלואם על משימות מוכנות מראש ממאגר פלאן, כך שכל הטיה או שגיאה שהייתה במשימות המקוריות נגררת ישירות פנימה לתוך שלבי ההסבר.

איך טוענים

אין צורך לבקש אישור גישה מיוחד, המאגר פתוח להורדה ישירה דרך Hugging Face. הנתונים מאורגנים בקובצי JSON לפי שפות, לצד סקריפט טעינה ייעודי. כדי להשתמש בו לאימון כמו שהחוקרים התכוונו, מחברים את שדה ההסבר יחד עם התשובה הסופית כשביניהם מפריד קבוע, וכך מאמנים את המודל לפלוט קודם את החשיבה ורק אחר כך את הפלט.

from datasets import load_dataset

ds = load_dataset("kaist-ai/Multilingual-CoT-Collection")

הרישיון

הרישיון הוא cc-by-4.0, שמתיר שימוש מסחרי, שינוי והפצה של הנתונים. התנאי המרכזי הוא מתן קרדיט ברור לחוקרים שיצרו את המאגר. אין כאן חובת שיתוף זהה, כך שתוכלו לאמן מודלים לצרכים פנימיים או מסחריים בלי לחשוף את המשקולות.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗