I_Wonder_Why-Chinese

מה זה

המאגר מבוסס על יותר מ־1.2 מיליון הוראות ייחודיות בתחום האנציקלופדי, כשכל הוראה מחזיקה מזהה ייחודי של 12 תווים. המבנה מחולק לשלושה תתי מאגרים שחולקים בדיוק את אותן שאלות. החלק הראשון מכיל זוגות ישירים של שאלה ותשובה עבור אימון הוראות רגיל. החלק השני מכיל נתוני העדפה, שבהם לכל תשובה נבחרת מוצמדות שלוש תשובות דחויות קצרות יותר, ללא דירוג פנימי ביניהן. החלק השלישי בנוי במבנה של שרשרת חשיבה מלאה עבור משימות הסקה מורכבות.

מקור המידע המדויק ושיטת הסינון לא מפורטים מעבר להצהרה שמדובר בדאטה סינתטי שעבר סינון בסיסי. היתרון במבנה הזה הוא היכולת להצליב בין החלקים לפי המזהה, למשל כדי לבנות זוגות העדפה בין תשובת הסקה ארוכה לתשובה רגילה.

מתאים ל

• אימון הוראות למודלים קטנים

  אימון מודלים מקומיים עד 2B על שאלות אנציקלופדיות בסינית באמצעות תת המאגר general.

• אימון העדפות בשיטת DPO

  שימוש בתת המאגר preference שבו לכל שאלה יש תשובה נבחרת ושלוש תשובות דחויות.

• זיקוק יכולות הסקה

  לימוד שרשראות חשיבה בסגנון R1 בעזרת מבנה השאלה, הנימוק והתשובה בתת המאגר reasoning.

איפה זה נופל

היוצר מבהיר שהנתונים נוצרו בצורה סינתטית ואינם מתאימים למודלים מעל שבעה או שמונה מיליארד פרמטרים, אלא מכוונים למודלים קטנים מאוד של פחות משני מיליארד ואף פחות מחצי מיליארד. אין פה מילה אחת בעברית, כל הטקסט בסינית בלבד וממוקד בידע כללי ואנציקלופדי. בנוסף, למרות שעבר סינון, היוצר מודה שייתכנו אי דיוקים והטיות בתוכן, כך שאי אפשר להכניס אותו למוצר בלי בדיקה עצמאית של איכות התשובות.

איך טוענים

הטעינה נעשית ישירות דרך ספריית datasets באמצעות ציון תת המאגר המבוקש, למשל general או preference. הנתונים שמורים בקובצי parquet שמחולקים לפי תתי המאגרים, כך שאין צורך בהורדת כל 24 הקבצים בבת אחת אם צריך רק חלק מסוים. אין דרישה לאישור גישה מקדים או מפתח מיוחד, והשדה המרכזי שחשוב לשמור עליו בעיבוד הוא המזהה הייחודי, במיוחד אם מתכננים להצליב בין תשובות רגילות לתשובות הסקה.

from datasets import load_dataset

ds = load_dataset("Mxode/I_Wonder_Why-Chinese")

הרישיון

הרישיון הוא cc-by-sa-4.0 שמתיר שימוש מסחרי, אך כולל דרישת שיתוף זהה. המשמעות היא שכל נגזרת ישירה של הדאטהסט חייבת להשתחרר תחת אותם תנאים. בעולם המודלים, יש מחלוקת אם משקלי מודל שאומן על הנתונים נחשבים יצירה נגזרת, ולכן צוות משפטי של חברה מסחרית עלול לחסום את השימוש בו מחשש לדרישת פתיחת המודל.

• שימוש מסחרי
• שינוי הקוד
• חובת שיתוף באותו רישיון

הרישיון המלא ב־Hugging Face ↗