WangchanThaiInstruct

מה זה

המאגר כולל בין עשרת אלפים למאה אלף דוגמאות של מעקב אחר הוראות, שנכתבו לחלוטין על ידי בני אדם בגרסת בטא. החומר מחולק לארבעה תחומים מקצועיים מוגדרים: רפואה, פיננסים, קמעונאות ומשפטים. הנתונים נותנים מענה לשבעה סוגי משימות שונים, ביניהם סיכום, שאלות ותשובות פתוחות וסגורות, סיווג טקסט, כתיבה יצירתית, סיעור מוחות ומבחני רב ברירה.

המבנה הפנימי מחולק לשתי תצורות עיקריות, ברירת המחדל וגרסת המאמר. תצורת ברירת המחדל מכילה את כלל הנתונים שנאספו בחמישה מחזורים, אך חסרות בה תגיות תרבותיות לחמשת אלפים דוגמאות. גרסת המאמר שימשה את החוקרים בניסויים שפורסמו, והיא כוללת תיוג שמפריד בין דוגמאות בעלות הקשר תרבותי מקומי לבין דוגמאות כלליות.

מתאים ל

• אימון מודלים בתאית

  כוונון של מודלי שפה למילוי הוראות בתאית ברפואה, משפטים, פיננסים וקמעונאות.

• הערכת ביצועים תרבותיים

  בדיקת יכולת המודל להבין הקשרים תרבותיים מקומיים באמצעות תת המאגר המתויג.

• בנצ'מרק למשימות טקסט

  הרצת מבחני השוואה מרובי משימות כמו סיכום, סיווג ושאלות סגורות בתאית.

איפה זה נופל

הנתונים מוגבלים לשפה התאית בלבד, כך שאין כאן שום כיסוי לאנגלית, עברית או שפות נוספות. המאגר נמצא כרגע בגרסת בטא ורחוק מלהיות מוצר מדף מוגמר. בעיה מרכזית היא מצב הרישיונות המעורב, היוצרים מציינים שחלק מהנתונים כפופים להגבלות לשימוש לא מסחרי והרישיונות בכל שורה תלויים במקור שלה, מה שמחייב סינון קפדני לפי שורות לפני כל שימוש עסקי.

איך טוענים

הטעינה נעשית ישירות דרך ספריית הדאטהסטס בקוד פייתון רגיל, בלי צורך באישור גישה מקדים או מילוי טפסים. המאגר מוגש בקובצי פרקט ומחולק מראש לסט אימון ולסט בדיקה. כדי להשתמש בגרסה המלאה טוענים את הנתיב הראשי, וכדי לשחזר את ממצאי המחקר ולעבוד עם התיוג התרבותי מגדירים את תת המאגר הייעודי של המאמר. קוד ההערכה המשלים יושב במאגר גיטהאב נפרד של הפרויקט.

from datasets import load_dataset

ds = load_dataset("airesearch/WangchanThaiInstruct")

הרישיון

הרישיון המוצהר במטא דאטה הוא ייחוס ושיתוף זהה, אך כרטיס המידע מבהיר שיש רשומות שמחייבות שימוש לא מסחרי בלבד. כל שורה עשויה להחזיק תנאי שימוש נפרדים בהתאם למקור התוכן. שיתוף זהה מחייב להפיץ נגזרות תחת אותו רישיון, ומודל שאומן עליו עלול להיחשב כיצירה נגזרת. למוצר מסחרי סגור, המאגר הזה מסוכן בלי בדיקה וניקוי של כל שורה.

• שימוש מסחרי
• שינוי הקוד
• חובת שיתוף באותו רישיון

הרישיון המלא ב־Hugging Face ↗