wiki_bio
קוד פתוחmichaelaulicc-by-sa-3.02022-03-02
המאגר כולל מעל 700 אלף ביוגרפיות מוויקיפדיה לחיבור בין טבלאות לטקסט רציף. הוא מיועד למי שרוצה לאמן מודלים להפקת פסקאות פתיחה מתוך נתונים מובנים.
- 2,580הורדות בחודש
- 27לייקים
מה זה
הנתונים נשענים על ערכי אישים מוויקיפדיה האנגלית, כפי שנאספו במקור למחקר משנת 2016 על יצירת טקסט ממידע מובנה. כל רשומה כוללת את תיבת המידע הצדדית, ה־infobox, יחד עם פסקת הפתיחה המלאה של הערך המתאים. המידע הטבלאי מפורק לשדות מוגדרים שבהם שמות העמודות מופרדים מהתוכן עצמו, כך שנוצר צמד ברור בין עובדות יבשות לבין ניסוח פרוזאי. הכרטיס לא מציין סינון מיוחד או ניקוי ידני שנעשה מעבר לחילוץ האוטומטי.
המבנה הכולל מונה 728,321 דוגמאות ומחולק מראש לשלושה חלקים קבועים כדי לאפשר השוואת ביצועים נוחה. חלק האימון מכיל 582,659 רשומות, בעוד שחלק הבדיקה וחלק האימות כוללים כל אחד 72,831 רשומות. החלוקה הזו מובנית בתוך הקוד ומאפשרת בדיקה עקבית מול תוצאות העבר.
מתאים ל
- אימון table-to-text
יצירת פסקאות פתיחה מנוסחות היטב על בסיס נתונים מטבלאות ומאגרי מידע.
- הערכת הזיות במודלים
בדיקה האם המודל ממציא פרטים שלא מופיעים בתיבת המידע המקורית.
- בנצ'מרק למודלי שפה
השוואת ביצועים מול ספרות המחקר הוותיקה באמצעות חלוקת המבחן הקבועה.
איפה זה נופל
הכרטיס משאיר כמעט את כל סעיפי המגבלות וההטיות ריקים, כך שאין תיעוד רשמי על כשלים ידועים. המאגר מבוסס על ויקיפדיה באנגלית בלבד, ואין בו שום תמיכה בעברית או בשפות אחרות. הנתונים מתבססים על מאמר מ־2016, ולכן המידע הביוגרפי אינו מעודכן ומשקף את המצב שהיה קיים ברשת לפני שנים. קיים גם פער מובנה בין הנתונים המופיעים בתיבה לבין מה שנכתב בפסקה, כך שלעיתים מודל עלול להמציא פרטים או להשמיט עובדות שלא הופיעו בשני המקורות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון הוא cc-by-sa-3.0, שמתיר שימוש מסחרי אך מחייב שיתוף באותו רישיון. המשמעות היא שכל יצירה נגזרת עשויה לחייב פתיחה תחת תנאים זהים, דבר שמקשה מאוד על פרויקטים סגורים.
האם יש במאגר ערכים בעברית?
לא. המאגר מכיל ביוגרפיות מוויקיפדיה באנגלית בלבד, ואין בו נתונים בשפות אחרות.
איך נאספו הנתונים?
החוקרים חילצו את המידע מתוך ערכי ויקיפדיה בשנת 2016 עבור מאמר בנושא הפקת טקסט ממידע מובנה. האיסוף התמקד בתיבות המידע ובפסקאות הפתיחה של ערכים ביוגרפיים.
מה נדרש כדי להוריד את המאגר?
אין שום דרישת הרשאה מיוחדת והגישה פתוחה לגמרי. הסקריפט מוריד את קובץ ה־zip מתוך המאגר ומפרק אותו ישירות לחלוקות המובנות.
איך טוענים
טוענים את המאגר ישירות בעזרת הספרייה הרגילה של Hugging Face, כשהסקריפט wiki_bio.py מושך את קובץ הארכיון הדחוס wikipedia-biography-dataset.zip. אין צורך בהרשמה, באישור גישה מיוחד או במפתחות API, והמאגר פתוח לחלוטין לציבור. השדות המרכזיים שחשוב להכיר הם שדה הטבלה, שמכיל את כותרות העמודות והתוכן שלהן, ושדה הטקסט של הפסקה. כל המידע מגיע בטקסט נקי באנגלית, ומומלץ לבדוק את התאמת מבנה המילונים לקוד שלכם לפני שמתחילים באימון כבד.
from datasets import load_dataset
ds = load_dataset("michaelauli/wiki_bio")הרישיון
המאגר מופץ תחת רישיון cc-by-sa-3.0, שמקורו ברישיון התוכן של ויקיפדיה. הרישיון מאפשר שימוש מסחרי, אך דורש מתן קרדיט מתאים ליוצרים ושיתוף של עבודות נגזרות תחת אותו רישיון בדיוק. הדרישה לשיתוף זהה עלולה לסבך שילוב של מודל שאומן על הדאטהסט בתוך מוצר קוד סגור, ולכן חברות רבות מעדיפות להימנע משימוש בו בפיתוחים מסחריים.