Korean-Human-Judgements
קוד פתוחHAERAE-HUBרישיון לא דווח2024-04-29
שיפוט אנושי ישיר על תשובות בקוריאנית מאפשר לבדוק מודלים מול העדפות אמיתיות. המאגר מציע השוואות מסוננות בין זוגות פלטים עבור משימות הערכה ובנצ'מרק.
- 90הורדות בחודש
- 39לייקים
מה זה
המאגר מכיל 694 שלשות של שאלה ושתי תשובות שונות, לצד הכרעה אנושית מה עדיף. המטרה כאן היא לא עוד טקסט חופשי אלא תיוג ישיר של איכות תגובה בשפה הקוריאנית. הרשומות מגיעות משלושה מקורות שונים: לוח התוצאות של ko-chatbot-arena, מאגר השיחות הפתוח של LMSYS מתוך Chatbot Arena, ושאלות ותשובות מאתר Naver KiN.
היוצרים ביצעו סינון על המקורות האלה לפני שהכניסו אותם למאגר. לפי התיעוד שלהם, נחתכו החוצה רשומות שכללו תוכן מיני, שגיאות הקלדה והוראות שלא היו ברורות מספיק למדרגים. הנתונים מרוכזים בקובץ יחיד שמיועד כולו לבדיקה ולא חולק מראש לסטים נפרדים של אימון ומבחן.
מתאים ל
- הערכת מודלי שיחה
בדיקת איכות התשובות שמודל שפה מייצר בקוריאנית מול העדפות אנושיות אמיתיות.
- בנצ'מרק למודלי שופט
מדידת הדיוק של מודל שתפקידו לשפוט ולהכריע אוטומטית בין שתי תשובות שונות.
- כיול מדדי הערכה
השוואת מדדי בחירה אוטומטיים מול בחירות של בני אדם על אותן שלשות נתונים.
איפה זה נופל
היוצרים מדגישים באותיות גדולות ובאדום שאסור לאמן על המאגר הזה. הוא נבנה אך ורק להערכת ביצועים, ואם תכניסו אותו לתוך אימון אתם פשוט מזהמים את סט הבדיקה שלכם. בנוסף, מדובר בסך הכל ב־694 רשומות, גודל מדגם קטן מאוד שלא יכסה את כל הפינות של השפה או סגנונות שיחה שונים.
התוכן כולו בקוריאנית ואין כאן מילה בעברית או באנגלית, כך שהוא לא יעזור למי שבונה מוצר מקומי אלא אם אתם מודדים יכולות רב-לשוניות ספציפיות. מעבר להסרת תוכן מיני ושגיאות הקלדה, הכרטיס לא מפרט אילו הטיות תרבותיות או דמוגרפיות קיימות בקרב האנשים שדירגו את התשובות בפועל.
שאלות
נפוצות
האם מותר להשתמש במאגר למטרות מסחריות?
לא מומלץ בכלל. היוצרים לא ציינו שום רישיון, ומבחינה חוקית שימוש בנתונים ללא רישיון מוגדר חושף אתכם לתביעות זכויות יוצרים.
האם המאגר כולל עברית?
לא, אין כאן עברית בכלל. כל הנתונים, השאלות והתשובות נאספו ונכתבו בקוריאנית בלבד עבור הערכת מודלים בשפה הזו.
האם אפשר להשתמש בנתונים לאימון מודל?
לא. בדף המאגר יש אזהרה מפורשת באדום שאוסרת על שימוש בנתונים לצורכי אימון, והם מיועדים להערכה ומבחן בלבד.
איך נאספו וסוננו הנתונים?
המידע הגיע מלוח Arena קוריאני, משיחות Chatbot Arena של LMSYS ומשאלות ב־Naver KiN. היוצרים ניקו ידנית שגיאות הקלדה, שאלות לא ברורות ותכנים מיניים.
איך טוענים
אתם מושכים את הקובץ ישירות דרך הספרייה הרגילה של Hugging Face בלי צורך בבקשת גישה מיוחדת או אישור מקדים מהיוצרים. כל הנתונים יושבים בקובץ parquet יחיד שנמצא בנתיב data/train-00000-of-00001.parquet, כך שהטעינה לוקחת שניות בודדות בגלל הנפח הקטן.
בתוך הקובץ תמצאו את השאלה המקורית, שתי התשובות המתחרות ודירוג ההעדפה האנושי שנבחר עבורן. אין פה חלוקות מורכבות או מבנה תיקיות עמוק, פשוט טוענים את הטבלה ישר לתוך סביבת העבודה שלכם וניגשים לעמודות ההשוואה.
from datasets import load_dataset
ds = load_dataset("HAERAE-HUB/Korean-Human-Judgements")הרישיון
היוצרים לא דיווחו על רישיון שימוש במאגר. מבחינה משפטית, היעדר רישיון אומר שאין לכם הרשאה מפורשת להשתמש בנתונים, לשלב אותם במוצר מסחרי או להפיץ מודל שהסתמך עליהם. אם אתם עובדים בחברה, עדיף לא לגעת בזה עד שהסטטוס המשפטי יובהר רשמית מול היוצרים.