wikineural

מה זה

המאגר כולל משפטים מחולקים לטוקנים שסווגו למשימת זיהוי ישויות בתשע שפות: אנגלית, ספרדית, הולנדית, גרמנית, רוסית, איטלקית, צרפתית, פולנית ופורטוגזית. התיוג נוצר באופן אוטומטי לחלוטין על בסיס שילוב בין בסיס הידע הרב לשוני בבלנט לבין מודלי שפה מסוג ברט, במטרה לשפר את איכות התיוג ביחס לשיטות אוטומטיות קודמות.

המבנה של הרשומות אחיד ופשוט. כל דגימה מכילה רשימת מילים, רשימת תוויות תואמת בתבנית המוכרת ומזהה שפה. התגיות מחולקות לארבע ישויות מרכזיות: אנשים, ארגונים, מיקומים ושונות, לצד תגית המציינת מילים רגילות. היקף החומר נע בין 95 אלף משפטים בספרדית לעד 141 אלף משפטים בפולנית.

מתאים ל

• אימון מודלי שפה לזיהוי ישויות

  אימון ראשוני של מודלים לחילוץ שמות ואתרים בתשע שפות ללא עלויות תיוג אנושי.

• הערכת ביצועים מחקרית

  בדיקת איכות של ארכיטקטורות טרנספורמר שונות במחקר אקדמי על תיוג רב לשוני.

• מחקר על תיוג אוטומטי

  בחינת ההשפעה של נתונים שנוצרו על ידי מודלים ובסיסי ידע מול דאטהסטים מתויגים ידנית.

איפה זה נופל

התיוג כולו אוטומטי ומבוסס על שילוב של בבלנט וברט, כך שהוא מכיל שגיאות מובנות ורעש שלא תמצאו במאגרים שנבדקו ידנית בידי אדם. עברית לא קיימת כאן בכלל, והכיסוי מוגבל לתשע שפות אירופיות בלבד. החומרים פורסמו במרץ 2022, והמבנה כולל רק ארבע ישויות בסיסיות, ללא התאמה לעולמות תוכן מקצועיים שדורשים ישויות כמו תאריכים, סכומים או מונחים רפואיים.

איך טוענים

הנתונים שמורים בקובצי פארקט ומחולקים לפי שפות ופיצולים, ללא צורך בהרשאה מיוחדת או בבקשת גישה מראש. המאגר מכיל 57 קבצים שונים. הטעינה נעשית ישירות דרך ספריית הנתונים המקובלת, וכדי לעבוד עם שפה מסוימת אפשר לסנן לפי קובצי השפה הרלוונטית. השדות שמעניינים אתכם בקוד הם רשימת הטוקנים והתגיות המספריות המקבילות שמייצגות את הישויות.

from datasets import load_dataset

ds = load_dataset("Babelscape/wikineural")

הרישיון

הרישיון הוא סי סי בי וואי אן סי אס איי ארבע אפס. המשמעות פשוטה: השימוש מותר למטרות מחקר בלבד ואסור לחלוטין לכל מטרה מסחרית. חובה לתת קרדיט ליוצרים, וכל נגזרת של המאגר חייבת להישאר תחת אותו רישיון מחמיר. מודל שתאמנו על הנתונים האלה לא יוכל להיכנס למוצר מסחרי.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗