sh0416/ag_news
קוד פתוחsh0416רישיון לא דווח2023-02-23
ארבע קטגוריות של כתבות חדשותיות באנגלית מציעות בסיס קלאסי לבדיקת מודלים של סיווג טקסט. המאגר מכיל 120,000 דוגמאות אימון ועוד 7,600 למבחן בפורמט שורות JSON נוח לעבודה.
- 1,988הורדות בחודש
- 14לייקים
מה זה
הנתונים מבוססים על אוסף של יותר ממיליון כתבות חדשותיות שנאספו על ידי מנוע החיפוש האקדמי ComeToMyHead ממעל 2000 מקורות חדשות שונים, החל מיולי 2004 ולמשך יותר משנה. מתוך המאגר המקורי הזה, החוקר שיאנג זאנג בחר את ארבע הקטגוריות הגדולות ביותר עבור מחקר שפורסם בכינוס NIPS בשנת 2015.
כל רשומה משויכת לאחד מארבעה נושאים: עולם (מסומן כ־1), ספורט (מסומן כ־2), עסקים (מסומן כ־3), ומדע וטכנולוגיה (מסומן כ־4). האוסף מחולק בצורה מאוזנת לגמרי, עם 30,000 דוגמאות אימון ו־1,900 דוגמאות בדיקה לכל קטגוריה בנפרד. כל פריט כולל כותרת ותקציר של הידיעה החדשותית.
בגרסה הספציפית הזו, המשתמש sh0416 המיר את קובצי ה־CSV המקוריים לקובצי jsonl כדי להיפטר מהצורך להתמודד עם כללי מירכאות כפולות ותווי מילוט שבורים שהיו במקור.
מתאים ל
- בנצ'מרק למודלי סיווג
בדיקת דיוק והשוואת ביצועים של מודלים על ארבע מחלקות מאוזנות באנגלית.
- אימון מסווגי טקסט קלים
אימון ראשוני של מסווגי חדשות קצרים באמצעות כותרת ותקציר בלבד.
- הערכת מהירות עיבוד
מדידת זמני ריצה וביצועים של ארכיטקטורות שונות על סט בדיקה קבוע.
איפה זה נופל
הכתבות נאספו החל מיולי 2004, כך שהשפה, האירועים והשמות שייכים לתקופה אחרת לגמרי. בנוסף, כל הטקסטים הם באנגלית בלבד ואין כאן עברית או ייצוג מקומי. המאגר מוגבל לארבע קטגוריות רחבות בלבד, והטקסטים כוללים כותרת ותיאור קצר ולא את גוף הכתבה המלא. אם אתם בונים מערכת שמיועדת להתמודד עם שפה עכשווית, כתבות ארוכות או חדשות בעברית, הנתונים האלה לא יספיקו וידרשו התאמה נפרדת.
שאלות
נפוצות
האם מותר להשתמש במאגר למטרות מסחריות?
המאגר אינו מיועד לפעילות מסחרית. בעלי המאגר המקורי ComeToMyHead הגדירו אותו לצורכי מחקר אקדמי ושימושים לא מסחריים בלבד. בנוסף, בדף הנוכחי ברישיון מופיע שלא דווח, מה שיוצר סיכון משפטי למוצרים מסחריים.
האם יש במאגר טקסטים בעברית?
אין במאגר עברית בכלל. כל הכתבות והתקצירים נאספו באנגלית ממקורות חדשות בינלאומיים. אם המטרה היא סיווג חדשות בישראל, תצטרכו לאסוף או למצוא מקורות אחרים.
איך הנתונים נאספו ונבחרו?
המאגר נאסף באמצעות מנוע החיפוש האקדמי ComeToMyHead ממעל 2000 מקורות חדשות שונים במשך למעלה משנה החל מיולי 2004. מתוכו בחר שיאנג זאנג את ארבע הקטגוריות הגדולות ביותר עבור המאמר שלו מ־2015, וחילק אותן לחלקים מאוזנים.
מה ההבדל בין הגרסה הזו ל־AG News המקורי?
התוכן והחלוקה ל־120,000 דוגמאות אימון ו־7,600 בדיקה זהים לחלוטין למקור. ההבדל היחיד הוא שהמעלה sh0416 המיר את קובצי ה־CSV הפגומים לעיתים לקובצי jsonl כדי לפשט את הטעינה ולמנוע בעיות של מירכאות ותווי מילוט.
איך טוענים
אתם יכולים לטעון את הנתונים ישירות דרך ספריית הדאטהסטס באמצעות המזהה sh0416/ag_news, ללא צורך בהרשמה, טופס גישה או אישור מיוחד מהיוצר. המאגר מורכב מארבעה קבצים, והעיקריים שבהם הם train.jsonl שמכיל את נתוני האימון ו־test.jsonl שמיועד למבחן. כל שורה היא אובייקט JSON שמכיל את אינדקס המחלקה מ־1 עד 4, כותרת הטקסט ותקציר הידיעה. המעבר למבנה של jsonl חוסך בעיות פיענוח של שורות חדשות וגרשיים שהופיעו בקבצי ה־CSV המקוריים, ומאפשר להתחיל לאמן או לבדוק ביצועים מיידית בלי ניקוי מקדים.
from datasets import load_dataset
ds = load_dataset("sh0416/ag_news")הרישיון
היוצר שהעלה את הגרסה הזו לא דיווח על רישיון רשמי במאגר. עם זאת, היוצרים המקוריים של מאגר ComeToMyHead ציינו במפורש שהוא מיועד למטרות מחקר אקדמי ולשימושים שאינם מסחריים בלבד. המשמעות היא שאימון מודל לצורך מוצר מסחרי עלול להפר את תנאי המקור של הנתונים, ולכן לא מומלץ להשתמש בו מחוץ למחקר או בדיקות פנימיות.