assin2
קוד פתוחnilc-nlpunknown2022-03-02
מאגר ייעודי של זוגות משפטים בפורטוגזית ברזילאית לבדיקת דמיון סמנטי והיקש לוגי. הוא מתאים למי שבונה או בוחן מודלים לשפה הזו וצריך תיוג אנושי כפול לכל צמד.
- 1,566הורדות בחודש
- 15לייקים
מה זה
המאגר כולל משפטים פשוטים יחסית בפורטוגזית ברזילאית שנבנו לפי מתודולוגיית SemEval 2014 Task 1. כל רשומה מורכבת מזוג משפטים, הנחה והשערה, עם שני סוגי תיוג שבוצעו ידנית. התיוג הראשון מודד דמיון סמנטי בסולם רציף שנע בין 1 ל־5, והשני קובע סיווג בינארי של היקש לוגי, כלומר האם יש נביעה בין המשפטים או שאין קשר כזה.
הנתונים מחולקים מראש לשלושה חלקים מוכנים לעבודה. סט האימון מכיל 6,500 זוגות משפטים, סט האימות כולל 500 זוגות, וסט המבחן מחזיק עוד 2,448 זוגות. כרטיס המאגר לא מפרט מהם מקורות הטקסט המקוריים, מי חיבר את המשפטים או כיצד בדיוק נבחרו וסוננו הרשומות לפני התיוג.
מתאים ל
- אימון מודלי היקש לוגי
פיתוח מסווגים בפורטוגזית שקובעים אם טענה אחת נובעת ישירות מטענה אחרת על בסיס התיוג הבינארי.
- הערכת דמיון סמנטי
מדידת ביצועים של מודלי שיבוץ טקסט מול ציוני דמיון אנושיים שנעים בין 1 ל־5.
- מבחן ביצועים רב-לשוני
בדיקת יכולת ההכללה של מודלים גדולים במשימות הבנת שפה טבעית על פורטוגזית ברזילאית.
איפה זה נופל
הנתונים מוגבלים לחלוטין לפורטוגזית ברזילאית ולא כוללים עברית או שפות נוספות, כך שהם אינם רלוונטיים לעבודה מקומית שלא מערבת תרגום או מודלים רב-לשוניים. מעבר לכך, הכרטיס מציין שהמשפטים פשוטים יחסית, מה שאומר שהמודל שלכם לא ייחשף למבנים תחביריים מורכבים, סלנג עשיר או טקסטים ארוכים. החיסרון המשמעותי ביותר הוא היעדר מוחלט של תיעוד לגבי מקור הטקסטים, זהות המתייגים, או בדיקות של הטיות ומידע רגיש. אם אתם מכוונים לסביבת ייצור, תצטרכו לדגום את הנתונים ידנית לפני השימוש.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון המדווח מוגדר כלא ידוע, ובתיעוד אין פרטים על היתר מסחרי. כל עוד אין רישיון פתוח ברור, לא כדאי להכניס את הנתונים לצנרת אימון של מודל מסחרי. אם השימוש נחוץ, מומלץ לפנות למחברי המאמר לבקשת אישור מפורש.
האם יש במאגר נתונים בעברית?
אין במאגר עברית בכלל. כל 9,448 זוגות המשפטים נכתבו ותויגו בפורטוגזית ברזילאית בלבד. עבור פרויקטים מקומיים הוא יכול לשמש רק לבדיקת מודלים רב-לשוניים או לאחר תרגום מכונה.
כמה שוקל המאגר ואיך מקבלים אליו גישה?
מדובר במאגר קטן מאוד שמחזיק קצת פחות מעשרת אלפים שורות בסך הכל. הנתונים מחולקים לשלושה קבצי parquet קלים ופתוחים להורדה ישירה דרך huggingface. אין צורך באישור גישה או במילוי טפסים כדי להתחיל לעבוד.
מאיפה הגיעו המשפטים ואיך הם נאספו?
כרטיס המאגר משאיר את סעיפי איסוף המקורות ריקים ולא מפרט מאיפה הטקסטים נלקחו. ידוע רק שהמתודולוגיה עוקבת אחרי SemEval 2014 ושהתיוגים נעשו ידנית בידי אדם. למידע מעמיק יותר על מקור המשפטים יש לפנות למאמר המדעי שצורף לתיעוד.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets באמצעות המזהה nilc-nlp/assin2. הנתונים מאוחסנים בשלושה קבצי parquet נפרדים לפי החלוקה המקורית, כך שהמשקל הכולל קטן מאוד ויורד תוך שניות בודדות ללא צורך בהרשמה מיוחדת או אישור גישה. השדות המרכזיים לעיבוד הם premise ו־hypothesis שמכילים את הטקסט, לצד relatedness_score לחיזוי ציון הדמיון ו־entailment_judgment שמשמש כמטרה למשימות סיווג.
from datasets import load_dataset
ds = load_dataset("nilc-nlp/assin2")הרישיון
הרישיון של המאגר מוגדר כלא ידוע, ובכרטיס אין שום פירוט על תנאי השימוש. במצב כזה אין אישור מפורש לשימוש מסחרי, ואי אפשר לדעת אילו זכויות יוצרים חלות על הטקסטים המקוריים. אם אתם מתכננים לאמן מודל למוצר מסחרי, מדובר בסיכון משפטי ברור שעדיף להימנע ממנו עד לבירור מול היוצרים.