yahoo_answers_qa
קוד פתוחnfL6unknown2022-03-02
מאגר שאלות ותשובות באנגלית שמבוסס כנראה על יאהו אנסרס. הוא רלוונטי למי שרוצה לאמן מודלים על שאלות אמיתיות של אנשים מהרשת, אבל מגיע כמעט בלי שום תיעוד נלווה.
- 496הורדות בחודש
- 28לייקים
מה זה
המאגר כולל בין עשרת אלפים למאה אלף רשומות ומיועד למשימות של מענה לשאלות באנגלית. המקור הוא ככל הנראה השירות הישן של יאהו אנסרס, שבו משתמשים שאלו שאלות ואחרים ענו להם, אך כרטיס הדאטהסט לא מפרט דבר מעבר לזה. כל הסעיפים שמסבירים על מבנה הרשומות, השדות, ואופן האיסוף נותרו ריקים לחלוטין.
לא ידוע איך המידע סונן, אם הורידו תוכן פוגעני או ספאם, ומי בדיוק טיפל בנתונים. גם חלוקת המידע לחלקי אימון, בדיקה או ולידציה לא מתועדת בקובץ ההסבר של המאגר. כל מה שיש זה סקריפט טעינה בשם yahoo_answers_qa.py שהועלה בשנת 2022.
מתאים ל
- אימון מענה לשאלות
כוונון מודלים באנגלית להבנת שאלות גולשים וניסוח תשובות בהתאם.
- הערכת ביצועי מודל
בדיקת היכולת של מודל קיים להתמודד עם שאלות ותשובות מאתרי קהילה.
- מחקר על שפת משתמשים
ניתוח ניסוחים לא רשמיים וסגנון כתיבה חופשי של משתמשי אינטרנט.
איפה זה נופל
הבעיה הגדולה ביותר כאן היא חוסר מוחלט בתיעוד. הכרטיס לא מציין הטיות, לא מפרט על מידע אישי ורגיש שעלול להופיע בטקסטים, ולא מסביר מאיזה תאריכים נלקחו השאלות. הטקסטים הם באנגלית בלבד ואין פה עברית. לפני שמכניסים נתונים כאלה לתהליך עבודה, צריך לבדוק ידנית את איכות הטקסט ולוודא שאין שם תוכן פוגעני, שגיאות גסות או פרטים מזהים של משתמשים.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
הרישיון מדווח כלא ידוע, ולכן אין אישור רשמי לשימוש מסחרי. שימוש כזה עלול לחשוף אתכם לתביעות זכויות יוצרים, בייחוד כשמקור הטקסטים הוא תוכן גולשים מאתר חיצוני.
האם יש בדאטהסט תמיכה בעברית?
לא, המאגר מוגדר לשפה האנגלית בלבד. כל השאלות והתשובות שנאספו בו נכתבו באנגלית.
איך המידע נאסף וסונן?
הכרטיס לא מספק שום מידע על תהליך האיסוף, הסינון או ניקוי הרעשים. כל הסעיפים הטכניים שמסבירים את מקור הדאטה הושארו ריקים על ידי מי שהעלה אותו.
כמה שוקל הדאטהסט וכמה רשומות יש בו?
ההיקף שלו נע בין עשרת אלפים למאה אלף רשומות, והוא מורכב משלושה קבצים בלבד. נפח האחסון המדויק בדיסק לא צוין בעמוד המאגר.
איך טוענים
טוענים את המאגר דרך ספריית datasets באמצעות המזהה nfL6/yahoo_answers_qa. הגישה חופשית ואין צורך לבקש אישור גישה מוקדם או להמתין. במאגר יש שלושה קבצים בלבד, כולל קובץ הסקריפט שמריץ את הטעינה. כיוון שהשדות המדויקים ומבנה הטקסט לא תועדו בכרטיס, תצטרכו לטעון דגימה ראשונה בעצמכם כדי לבדוק איך קוראים לעמודות ומה בדיוק מחזירה כל רשומה.
from datasets import load_dataset
ds = load_dataset("nfL6/yahoo_answers_qa")הרישיון
הרישיון מוגדר כלא ידוע. לא כתוב בשום מקום אם מותר להשתמש במידע למטרות מסחריות, מה תנאי הייחוס, או אם חלה חובת שיתוף זהה על מודלים שיאומנו עליו. מבחינה מעשית, אימון מודל על דאטהסט בלי רישיון ברור חושף אתכם לסיכון משפטי, ובמיוחד אם מדובר במוצר מסחרי.