asset
קוד פתוחfacebookcc-by-sa-4.02022-03-02
המאגר מרכז 2,359 משפטים באנגלית מוויקיפדיה שלכל אחד מהם מוצמדים עשרה פישוטי שפה אנושיים שונים. הוא נבנה במיוחד כדי להעריך ולכוונן מודלים שמפשטים ניסוח ולא רק מחליפים מילים נרדפות.
- 1,281הורדות בחודש
- 16לייקים
מה זה
הנתונים מחולקים לשתי תצורות עבודה נפרדות. התצורה הראשית מיועדת לפישוט משפטים וכוללת 2,359 משפטי מקור שנלקחו מתוך TurkCorpus, שמקורם המקורי בגרסת ויקיפדיה האנגלית מאוגוסט 2009. עבור כל משפט מקור כזה יש עשרה ניסוחים מפושטים שנכתבו על ידי עובדים במיקור המונים, מה שמביא את סך הפישוטים ל־23,590. בניגוד למאגרים ישנים שהתמקדו רק בהחלפת מילים או רק בפיצול משפטים, כאן העובדים שילבו מחיקת מידע, פיצול וניסוח מחדש.
התצורה השנייה מיועדת לדירוגים ומכילה משפט מקור, פישוט שנוצר על ידי מערכת אוטומטית, וציון איכות אנושי בין 0 ל־100 לפי שלושה מדדים: משמעות, שטף ופשטות. החלוקה הפנימית למבחן ואימות מבוססת על החלוקה האקראית של TurkCorpus: 2,000 משפטים מוקצים לטובת ולידציה ו־359 למבחן. המאגר אינו כולל נתוני אימון כלל.
מתאים ל
- הערכת ביצועי מודלי פישוט
מדידת איכות מודלים מול עשרה משפטי ייחוס מגוונים בעזרת מדדי SARI ו־FKBLEU.
- כיול מדדי הערכה אוטומטיים
השוואת ציונים של מדדי איכות אוטומטיים מול ציוני אדם אמיתיים שנמצאים בתצורת הדירוגים.
- ולידציה וכוונון עדין
שימוש ב־2,000 משפטי הפיתוח לצורך כיוונון היפר-פרמטרים ובחירת מודל מתאים.
איפה זה נופל
הטקסטים מגיעים מוויקיפדיה האנגלית מ־2009, כך שהשפה משקפת הטיות מגדריות וגזעיות שמתועדות בעריכות המקוריות של אותה תקופה. כל הנתונים באנגלית בלבד, ואין כאן ייצוג לעברית או לשפות אחרות. מעבר לזה, המאגר נכתב בידי 42 עובדים בלבד מארצות הברית, בריטניה וקנדה, קבוצה קטנה שיכולה לקבע סגנון פישוט מסוים. הוא לא מתאים לאימון מודלים מאפס בגלל היעדר סט אימון, ולא הייתי משתמש בדירוגים בלי לבדוק התאמה לאוכלוסיית היעד שלכם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ להסתמך על שימוש מסחרי כרגע. עמוד המאגר מציין רישיון CC-BY-SA 4.0 אבל גוף הכרטיס קובע במפורש רישיון CC BY-NC 4.0 לא מסחרי למחקר בלבד. במקרה של חוסר התאמה כזה, שימוש מסחרי חושף אתכם להפרת זכויות.
האם יש במאגר נתונים בעברית?
אין שום תוכן בעברית. כל 2,359 המשפטים והפישוטים שלהם נכתבו באנגלית בלבד על בסיס ויקיפדיה האנגלית. התאמה לעברית תדרוש תרגום מורכב או בניית מאגר ייעודי.
מה ההבדל בין המאגר הזה לבין TurkCorpus?
המאגר משתמש באותם משפטי מקור של TurkCorpus, אבל הפישוטים בו שונים מהותית. בעוד ש־TurkCorpus התמקד כמעט רק בהחלפת מילים למילים פשוטות יותר, כאן הפישוטים משלבים פיצול של משפטים ארוכים, מחיקת חלקי משפט וארגון מחדש של הניסוח.
איך טוענים את נתוני האימון?
המאגר אינו מכיל נתוני אימון. יש בו רק קבוצת ולידציה של 2,000 משפטים וקבוצת מבחן של 359 משפטים. מודלים בתחום זה מאמנים בדרך כלל על מאגרים חיצוניים כמו WikiLarge ומשתמשים במאגר הנוכחי רק להערכה.
איך טוענים
טוענים את הקבצים ישירות דרך ספריית הנתונים המקובלת באחת משתי התצורות, simplification או ratings, ללא צורך בהרשאה מיוחדת או בקשת גישה. כל המאגר שוקל מעט מאוד ומאוחסן בחמישה קבצים בלבד, כולל קובצי Parquet לתתי הקבוצות של הוולידציה, הטסט והדירוגים. בתצורת הפישוט עובדים מול שדות המשפט המקורי ורשימת עשרת הפישוטים. בתצורת הדירוגים עובדים מול שדות המשפט המקורי, הפישוט שנוצר, סוג המדד והציון המספרי שניתן לו.
from datasets import load_dataset
ds = load_dataset("facebook/asset")הרישיון
יש סתירה ברורה ברישום. במטא-דאטה של העמוד מופיע רישיון CC-BY-SA 4.0 שמתיר שימוש מסחרי תחת ייחוס ושיתוף זהה, אבל הטקסט של הכרטיס מציין רישיון CC BY-NC 4.0 שאוסר שימוש מסחרי לחלוטין ומגביל למחקר בלבד. במצב כזה, אסור להסתמך על זה למוצר מסחרי או לאמן מודל סגור לחברה לפני שמבררים ישירות מול היוצרים איזה תנאי תקף בפועל.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון