kor_nli
קוד פתוחkakaobraincc-by-sa-4.02022-03-02
מאגר למשימות היסק טקסטואלי בקוריאנית שמאחד גרסאות מקומיות של מערכי נתונים מוכרים. הוא נותן מענה ישיר למי שמאמן מודלים להבנת שפה טבעית בקוריאנית וצריך חלוקות אימון ובדיקה מוכנות.
- 583הורדות בחודש
- 23לייקים
מה זה
המאגר מכיל דוגמאות של זוגות משפטים עם תיוג יחס לוגי ביניהם בקוריאנית. המבנה אחיד לכל אורך הנתונים וכולל שלושה שדות: הנחת יסוד, השערה, ותווית קטגוריאלית שמסווגת את הקשר לגרירה, סתירה או מצב ניטרלי.
התוכן מחולק לשלוש תצורות שונות שמגיעות ממקורות נפרדים. החלק הראשון מבוסס על multi_nli וכולל 392,702 דוגמאות אימון. החלק השני מבוסס על snli ומכיל 550,152 רשומות אימון. החלק השלישי נשען על xnli ומיועד להערכה, עם 2,490 שורות בוולידציה ו־5,010 במבחן.
כרטיס הנתונים לא מפרט כיצד נאספו המשפטים המקוריים, כיצד בוצע התרגום או ההתאמה לקוריאנית, ומיהם האנשים שתייגו או בדקו את המידע בפועל.
מתאים ל
- אימון מסווגי NLI בקוריאנית
אימון מודלים לזיהוי קשר לוגי בין משפטים בקוריאנית על בסיס קרוב למיליון דוגמאות.
- מבחן ביצועים למודלי שפה
בדיקת יכולת ההסקה וההבנה הלשונית של מודלים בקוריאנית באמצעות קובצי המבחן של xnli.
- סינון קשרים סמנטיים
בניית רכיב שמסווג סתירות והתאמות בטקסטים קוריאניים עבור מערכות בדיקת עובדות או סיכום.
איפה זה נופל
הכרטיס משאיר כמעט את כל הסעיפים המהותיים ריקים. אין תיעוד לגבי הטיות אפשריות בנתונים, מידע רגיש, אופן יצירת הטקסטים או איכות התרגום לקוריאנית אם נעשה כזה. בנוסף, המאגר מתאים אך ורק לקוריאנית, ואין בו שום תמיכה בשפות אחרות. לפני שמשלבים מודל שאומן כאן בסביבת ייצור, חייבים לבדוק עצמאית מדגם רחב של תוויות כדי לוודא שאין טעויות תיוג עיוורות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי סגור?
הרישיון הוא cc-by-sa-4.0, ולכן סעיף השיתוף הזהה מחייב כל נגזרת להישאר תחת אותו רישיון. צוותים משפטיים רבים רואים במודל שאומן על דאטה כזה יצירה נגזרת, מה שיחייב אתכם לחשוף אותו באותם תנאים. לשימוש פנימי או מחקרי אין בעיה, אבל למוצר קנייני סגור הסיכון גבוה.
כמה מקום צריך בשבילו בדיסק?
קבצי המקור להורדה שוקלים 126.34 מגה בייט בסך הכל. לאחר טעינה והפקה מלאה של המאגר בדיסק, הנפח מגיע ל־292.77 מגה בייט. מדובר בגודל קל שמתאים לעבודה מהירה גם על מחשב אישי.
האם יש במאגר טקסטים בעברית או באנגלית?
לא, הנתונים מיועדים לקוריאנית בלבד. למרות שהשמות snli ו־multi_nli מגיעים ממקורות בינלאומיים מוכרים, הגרסה הזו מכילה מחרוזות בקוריאנית. לעברית תצטרכו לחפש מאגרי NLI ייעודיים אחרים.
כיצד הנתונים נוצרו ומאיפה הם נאספו?
כרטיס הדאטהסט הרשמי אינו מספק מידע על תהליך האיסוף, הנרמול או התיוג. המקור מקושר למאמר KorNLI משנת 2020 ומאגר קוד בגיטהאב של kakaobrain. כדי להבין את מקור המשפטים המדויק יש לקרוא את המאמר עצמו.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets בלי צורך בבקשת גישה מיוחדת או אישור מקדים. סך קובצי ההורדה שוקל 126.34 מגה בייט, ובדיסק המאגר תופס 292.77 מגה בייט לאחר פריסה.
הקבצים שמורים בפורמט parquet לפי תצורות. בכל דגימה מקבלים את המחרוזות premise ו־hypothesis לצד הערך המספרי label, כך שלא נדרש עיבוד מוקדם כדי להזין אותם למודל סיווג סטנדרטי.
from datasets import load_dataset
ds = load_dataset("kakaobrain/kor_nli")הרישיון
המאגר מופץ תחת רישיון cc-by-sa-4.0. הרישיון דורש מתן קרדיט ליוצרים, וחשוב מכך, כולל סעיף שיתוף זהה שמחייב הפצה תחת אותם תנאים לכל יצירה נגזרת. אם אתם מאמנים מודל על הנתונים האלה, ייתכן שתצטרכו לשחרר את המשקולות או את המאגר הנגזר תחת אותו רישיון חופשי, מה שמקשה על שימוש מסחרי קנייני סגור.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון