ko-triplet-v1.0
קוד פתוחnlpai-labרישיון לא דווח2024-09-05
מאגר של שלשות טקסט בקוריאנית שנועד לאימון מודלי אחזור ודירוג. הוא מספק שאילתות לצד מסמכים מתאימים ושליליים קשים, בלי שתצטרכו לסנן דוגמאות מבלבלות לבד.
- 227הורדות בחודש
- 30לייקים
מה זה
המאגר כולל 744,862 רשומות המיועדות לשלב האימון, ללא חלוקה מוגדרת מראש לולידציה או בדיקה. כל דוגמה בנויה במבנה של שלשה שכוללת שאילתה, מסמך חיובי שמתאים לה, ומסמך שלילי קשה שאמור לאתגר את המודל בהבחנה ביניהם.
מתוך הדוגמאות שבתיעוד אפשר לראות שהשאילתות מגוונות בסגנון שלהן. חלקן מנוסחות כשאלות מלאות ומפורטות בנושאים טכניים, רפואיים או מדעיים, וחלקן מורכבות פשוט מרצף של מילות מפתח מופרדות בפסיקים. המסמכים התואמים מציגים תשובות עובדתיות או משפטים קוהרנטיים שמכילים את המילים הללו, בעוד שהשליליים הקשים עוסקים בנושאים קרובים או מציגים מבנה דומה אך ללא הקשר הישיר הנדרש.
יוצרי המאגר לא מפרטים בכרטיס מהיכן בדיוק הטקסטים נאספו, האם נעשה שימוש במודלים סינתטיים ליצירת הדוגמאות או שמא מדובר בטקסטים אותנטיים ממקורות רשת ומחקר, ואין שום תיעוד לגבי תהליך הסינון ובקרת האיכות שנעשו על הנתונים.
מתאים ל
- אימון מודלי שיקוע
כוונון מודלי embedding בקוריאנית בעזרת שלשות מוכנות של חיובי ושלילי קשה.
- אימון מודלי דירוג מחדש
לימוד מודלי Cross-Encoder להבדיל בין מסמך מדויק לבין מסמך שמכיל מילים דומות אך שגוי.
- טיפול בשאילתות מילות מפתח
אופטימיזציה של מנועי חיפוש לתרחישים שבהם משתמשים מקלידים רצף מונחים ולא שאלה.
איפה זה נופל
המאגר מוגבל לשפה הקוריאנית בלבד ולא יתרום כלום לעבודה בעברית או באנגלית. הכרטיס שותק לחלוטין לגבי מקורות המידע, מה שאומר שאין לכם דרך לדעת אם יש שם הטיות, שגיאות עובדתיות, או טקסטים שמוגנים בזכויות יוצרים של צד שלישי. בנוסף, העובדה שחלק מהשאילתות הן רק רשימת מילים ולא שאלות אמיתיות עלולה ללמד את המודל דפוסי חיפוש שלא מתאימים לכל תרחיש שימוש.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ בכלל. היוצרים לא ציינו שום רישיון שימוש, ובמצב כזה כל הזכויות שמורות ואין הרשאה חוקית להשתמש במידע, במיוחד לא למוצר מסחרי.
האם יש בדאטהסט תמיכה בעברית?
אין שום תמיכה בעברית. כל הנתונים במאגר כתובים בקוריאנית בלבד, והוא רלוונטי רק למי שבונה מודלים לשפה זו.
כמה המאגר שוקל ואיך הוא מגיע?
המאגר כולל 744,862 רשומות אימון ומחולק לשני קובצי Parquet ששוקלים יחד כ־628 מגה בייט. זה גודל נוח שאפשר להוריד ולטעון במחשב מקומי בלי בעיות זיכרון.
איך נאספו השליליים הקשים והטקסטים?
הכרטיס לא מספק שום מידע על שיטת האיסוף. לא ידוע מאיזה מקורות הגיעו המסמכים או באיזה אלגוריתם בחרו את הדוגמאות השליליות המאתגרות.
איך טוענים
הנתונים מגיעים בשני קובצי Parquet ששוקלים יחד כ־628 מגה בייט, כך שאפשר לטעון אותם בקלות ישירות דרך ספריית datasets בלי להסתבך עם זיכרון. אין צורך לבקש אישור גישה מיוחד, המאגר פתוח להורדה מיידית. בזמן הטעינה תעבדו עם שלושת השדות הבסיסיים: query, document ו־hard_negative, בלי מטא-דאטה נוסף או ציוני התאמה.
from datasets import load_dataset
ds = load_dataset("nlpai-lab/ko-triplet-v1.0")הרישיון
ליוצרים אין רישיון מדווח במאגר. מבחינה משפטית בישראל ובעולם, היעדר רישיון אומר שכל הזכויות שמורות להם ולא ניתנה הרשאה מפורשת להשתמש בתוכן, לא לצרכים מסחריים ואפילו לא למחקר. אם תאמנו עליו מודל ותפיצו אותו, אתם לוקחים סיכון של הפרת זכויות יוצרים, ולכן לחברות מסחריות עדיף להתרחק מזה עד שיוגדר רישיון ברור.