squad_kor_v1
קוד פתוחKorQuADcc-by-nd-4.02022-03-02
מאגר שאלות ותשובות בקוריאנית שנבנה בדיוק לפי הפורמט של SQuAD הראשון. אם אתם בונים מודל להבנת הנקרא בשפה הזו ומחפשים בנצ'מרק סטנדרטי, זה המקור שתרצו לבדוק.
- 953הורדות בחודש
- 33לייקים
מה זה
המאגר מבוסס על ערכים מתוך ויקיפדיה הקוריאנית, ומיועד למשימות של חילוץ תשובות מתוך טקסט נתון. המבנה שלו מחקה את המתודולוגיה המקורית של SQuAD v1.0, כך שכל רשומה מורכבת מפסקה, שאלה שנכתבה עליה, והתשובה המדויקת שנשלפה מתוך הפסקה יחד עם מיקום התו שבו היא מתחילה. הכרטיס לא מפרט כיצד נאספו הטקסטים בדיוק או מי היו המתייגים בפועל, אלא רק מציין את ההישענות על ויקיפדיה כמקור יחיד.
מבחינת חלוקה, הנתונים מגיעים בשני חלקים מוגדרים מראש. חלק האימון מכיל 60,407 דוגמאות, וחלק הוולידציה כולל 5,774 דוגמאות נוספות. השדות בכל רשומה כוללים מזהה ייחודי, כותרת הערך, הפסקה עצמה, השאלה, ומערך התשובות עם תוכן התשובה והאינדקס שלה בטקסט.
מתאים ל
- אימון מודלי חילוץ מידע
פיין-טיונינג למודלי שפה בקוריאנית לחילוץ קטעי טקסט רלוונטיים מתוך מסמך נתון.
- הערכת ביצועי שפה
בדיקת יכולת הבנת הנקרא של מודלים בקוריאנית באמצעות סט הוולידציה המובנה.
- בניית מנועי שו"ת
פיתוח רכיב תשובות מבוסס הקשר למערכות חיפוש פנימיות בטקסטים קוריאניים.
איפה זה נופל
הנתונים כולם בקוריאנית בלבד, כך שאין כאן שום רלוונטיות ישירה לעברית או לשפות אחרות בלי תרגום מכונה, שעלול להרוס את מיקומי התווים המדויקים. מקור הטקסטים הוא ויקיפדיה בלבד, מה שמביא איתו שפה אנציקלופדית רשמית והטיה מובנית לנושאים היסטוריים וכלליים, הרחק משיחות יומיומיות, סלנג או טקסט עסקי. בנוסף, הכרטיס משאיר סעיפים רבים ריקים לחלוטין בנוגע להטיות, סינון פרטים אישיים ותהליך התיוג, כך שאין מידע מתועד על איכות העבודה האנושית שנכנסה פנימה.
אותה משפחה
squad-kor יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם יש במאגר תמיכה בעברית?
לא. המאגר מכיל טקסטים בקוריאנית בלבד שמקורם בוויקיפדיה הקוריאנית. הוא לא כולל תרגום או שדות בעברית.
האם מותר להשתמש בו למוצר מסחרי?
רישיון CC BY-ND מתיר שימוש מסחרי עקרוני עם מתן ייחוס, אך אוסר על הפצת נגזרות. כדאי להתייעץ משפטית כדי לוודא אם הפצת משקלי מודל שאומן עליו מהווה יצירה נגזרת.
איך נאספו השאלות והתשובות?
המאגר עוקב אחר מתודולוגיית SQuAD v1.0, שבה קוראים פסקאות מתוך ויקיפדיה ומנסחים עליהן שאלות יחד עם חיתוך התשובה המתאימה. הכרטיס אינו מפרט מעבר לכך על זהות המתייגים.
מה ההבדל בין מאגר זה לגרסאות מאוחרות יותר?
זהו מימוש של הפורמט הראשון, כלומר לכל שאלה יש תשובה חד-משמעית בתוך הפסקה. אין כאן שאלות ללא מענה כפי שנוספו מאוחר יותר בגרסת SQuAD 2.0.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets באמצעות המזהה הרשמי שלו, בלי צורך לבקש אישור גישה מוקדם או להמתין. הנתונים זמינים בקובצי parquet עבור סט האימון והוולידציה, כך שהטעינה מהירה והנפח הכולל קטן יחסית ולא דורש משאבי אחסון חריגים. בעת העיבוד, השדות המרכזיים שמעניינים אתכם הם context, question והמילון answers, שמחזיק את הטקסט של התשובה ואת האינדקס המספרי answer_start לצורך חיתוך הטוקנים במודל.
from datasets import load_dataset
ds = load_dataset("KorQuAD/squad_kor_v1")הרישיון
הרישיון המדווח במטא-דאטה הוא cc-by-nd-4.0, בעוד שבטקסט הכרטיס מופיע קישור לגרסת CC BY-ND 2.0 KR. החלק הקריטי כאן הוא רכיב ה־ND, שאוסר על הפצת יצירות נגזרות. אם אתם רוצים לשנות את הדאטהסט ולהפיץ אותו הלאה, הרישיון לא מתיר זאת. מותר להשתמש בנתונים למטרות מסחריות כל עוד נותנים קרדיט מתאים, אך יש לבדוק היטב מבחינה משפטית אם אימון מודל והפצתו נחשבים יצירה נגזרת של המאגר תחת תנאי הרישיון הזה.