indonlu
קוד פתוחindonlpmit2022-03-02
חבילת מבחנים מקיפה להבנת שפה טבעית באינדונזית, שמרכזת סיווג, חילוץ ישויות ומענה לשאלות. היא נועדה למי שמאמן מודלים לשוק הזה וצריך בנצ'מרק מתוקנן.
- 581הורדות בחודש
- 42לייקים
מה זה
המאגר מאגד שנים עשר תתי מאגרים שונים עבור משימות הבנת שפה באינדונזית. המקורות מגוונים וכוללים ציוצים מטוויטר, היסטוריית עריכות בוויקיפדיה, אתרי חדשות מקומיים וביקורות צרכנים מפלטפורמות רכב ומלונות כמו AiryRooms.
המבנה של כל רשומה נקבע לפי תת המאגר הספציפי. במשימות רגש וסנטימנט, כדוגמת EmoT ו־SmSA, הטקסט מופיע לצד תוויות סיווג קלאסיות או היבטים מרובים של מוצר. בחלקים המיועדים לתיוג רצפים כמו POSP, BaPOS, TermA, KEPS ושני מאגרי הישויות, הנתונים בנויים כרשימות טוקנים ותגיות בפורמט IOB.
חלקים אחרים כוללים משימות מתקדמות יותר. WReTE מחזיק זוגות של הנחה והיפותזה לבדיקת גרירה לוגית, ו־FacQA מציג שאלות, פסקאות קצרות ותשובות מחולצות לפי קטגוריות מוגדרות.
מתאים ל
- ניתוח סנטימנט צרכני
אימון וכיול מסווגים לזיהוי שביעות רצון מביקורות רכב ומלונות באינדונזית.
- זיהוי ישויות בחדשות
חילוץ שמות אנשים, ארגונים ומיקומים מטקסטים עיתונאיים באינדונזית.
- מענה לשאלות מבוסס עובדות
פיתוח מנועי אחזור תשובות קצרות מתוך פסקאות מידע לפי נושאים.
איפה זה נופל
כל הנתונים הם באינדונזית בלבד, ללא שום ייצוג לשפות אחרות. חלק מתתי המאגרים קטנים מאוד ואינם מתאימים לאימון רציני אלא רק להערכה, כמו WReTE שמכיל 450 זוגות משפטים בלבד או BaPOS עם כאלף משפטים. בנוסף, הטקסטים מטוויטר ומהביקורות נשענים על סלנג מקומי ישן יחסית ושמות מותגים ספציפיים, מה שדורש התאמה אם בונים מוצר שצריך להתמודד עם שפה עכשווית או רשמית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המדווח הוא MIT ולכן הוא מתיר שימוש מסחרי מלא. הדרישה העיקרית היא לכלול את הצהרת זכויות היוצרים והרישיון המקורי בקוד או בתוכנה. אין מניעה למכור מודל שאומן על הנתונים.
האם המאגר כולל עברית או תמיכה בריבוי שפות?
לא, המאגר מיועד אך ורק לאינדונזית. כל הטקסטים מגיעים מפלטפורמות מקומיות באינדונזיה, כולל סלנג וניבים אופייניים. הוא אינו מכיל מילים בעברית או תרגומים.
מאיפה נאספו הנתונים במקור?
הנתונים הורכבו משילוב של פלטפורמות מקוונות שונות באינדונזיה. הם כוללים ציוצים מטוויטר, היסטוריית עריכות בוויקיפדיה, אתרי חדשות אינדונזיים ואתרי ביקורות צרכנים על מלונות וכלי רכב. חלק מהתיוגים בוצעו בידי בלשנים מקומיים.
איך טוענים
טוענים את הנתונים דרך הספרייה datasets באמצעות מזהה המאגר indonlp/indonlu, אך חייבים להגדיר תת מאגר ספציפי מתוך השנים עשר הזמינים כי לכל אחד סכמה משלו. המאגר פתוח לציבור ואינו דורש הרשאות גישה או מפתחות. הסקריפט indonlu.py מטפל בהורדה ובחלוקה. חשוב לבדוק את מבנה השדות בהתאם למשימה, שכן חלקם מספקים מחרוזות טקסט פשוטות בעוד אחרים דורשים עבודה עם רשימות טוקנים ומזהים מספריים.
from datasets import load_dataset
ds = load_dataset("indonlp/indonlu")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, מחקרי, שינוי והפצה של הנתונים, בתנאי ששומרים על הודעת זכויות היוצרים המקורית. אין חובת שיתוף תחת אותו רישיון, ומודלים שאומנו על המידע יכולים להיסגר כמוצר מסחרי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש