atomic
קוד פתוחallenaicc-by-4.02022-03-02
מאגר נרחב של יחסי סיבה ותוצאה יומיומיים שנועדו להקנות למודלים הבנה בסיסית של שכל ישר. החומר מבוסס על אירועים קצרים ומתמקד במה אנשים רוצים, מרגישים או עושים בתגובה.
- 2,310הורדות בחודש
- 25לייקים
מה זה
כל רשומה במאגר מציגה תבנית קצרה של אירוע, כמו פעולה של אדם מסוים, וממפה סביבה תשעה ממדים שונים של תגובות אנושיות. הממדים כוללים את הכוונה של מבצע הפעולה, הצרכים שלו לפני המעשה, ההשפעה על גורמים אחרים והתגובות הרגשיות של כל המעורבים. השדות מכילים רשימות טקסטואליות שמייצגות את ההשלכות האפשריות.
האירועים עצמם נאספו בצורה אוטומטית מתוך בלוגים, סיפורים וספרים מתקופות שונות, ולאחר מכן הועברו לתיוג אנושי באמצעות מיקור המונים כדי לייצר את הקשרים הסיבתיים. הנתונים מחולקים מראש לקובצי אימון, פיתוח ומבחן, כאשר החלוקה בוצעה תוך שימוש במילות מפתח כדי למנוע זליגת מידע דומה בין החלקים. קיים קובץ שמרכז את כל התשובות בצורה מאוחדת וקובץ נפרד ששומר על הקשר לתשובות של מתייגים בודדים.
מתאים ל
- אימון מודלי היסק
לימוד מודלים להשלים כוונות ותגובות רגשיות מתוך טקסט אירוע קצר.
- הערכת שכל ישר
בדיקת היכולת של מערכות שפה להבין סיבתיות יומיומית והשלכות חברתיות.
- בניית גרפי ידע
המרת התבניות והממדים לתרשימי קשרים מובנים בין פעולות לתוצאות.
איפה זה נופל
הנתונים קיימים באנגלית בלבד ואינם מכילים עברית. הטקסטים נלקחו ממקורות מגוונים לאורך שנים, ולכן הם כוללים תיאורי אלימות ופעולות בעייתיות שהחוקרים השאירו במכוון כדי ללמד מודלים להתמודד עם השלכות שליליות. כמו כן, מדובר בתיוג אנושי שמוטה לפי תפיסות העולם של העובדים, והמידע עצמו דליל למדי מכיוון שלא כל ממד כוסה במלואו עבור כל אירוע.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון מאפשר שימוש מסחרי חופשי, כולל שילוב במוצרים ואימון מודלים. החובה היחידה היא לתת קרדיט ברור לחוקרים לפי תנאי הרישיון.
האם יש במאגר נתונים בעברית?
לא, כל הנתונים, האירועים והתיוגים נכתבו ונאספו באנגלית בלבד. אם המטרה היא לעבוד בעברית, תידרשו לתרגם את המאגר או להתאים אותו עצמאית.
איך נאסף המידע שבתוך המאגר?
החוקרים שלפו משפטי אירועים באופן אוטומטי מתוך בלוגים, ספרים וסיפורים. לאחר מכן, עובדים במיקור המונים מילאו שאלונים שבהם הגדירו מה המניע לאירוע, מה הצורך שקדם לו ומה התגובות הרגשיות של המעורבים.
האם הטקסטים דורשים סינון לפני שימוש במערכת חיה?
כן, החוקרים השאירו במאגר משפטים המתארים אלימות ומצבים בעייתיים כדי לשמר יחסי סיבה ותוצאה מציאותיים. לפני שחושפים את המידע למשתמשי קצה או מאמנים עליו מחוללי טקסט, כדאי לסנן תכנים לא הולמים.
איך טוענים
המאגר שמור בפורמט קובצי פסיקים דחוסים ואינו דורש אישור גישה מיוחד כדי להוריד אותו. הטעינה נעשית ישירות דרך פנדס או באמצעות סקריפט הפייתון המצורף במאגר. עמודות ההסקה שמורות בתוך הקבצים כמערכי טקסט בפורמט ג'ייסון, ולכן יש לפענח אותן במפורש בעת הטעינה כדי לעבוד איתן כאובייקטים. שימו לב שהערך none מייצג תשובה ריקה של מתייג, בעוד מערך ריק לחלוטין מעיד על כך שהממד לא הוצג לו כלל.
from datasets import load_dataset
ds = load_dataset("allenai/atomic")הרישיון
המאגר מופץ תחת רישיון פתוח מסוג קריאייטיב קומונס ייחוס ארבע נקודה אפס. מותר להשתמש בנתונים למטרות מחקר וגם למטרות מסחריות, כולל אימון מודלים, בתנאי שנותנים קרדיט מלא ליוצרים ומציינים שינויים אם נעשו. אין דרישה לשתף תוצרים או מודלים מאומנים תחת אותו רישיון בדיוק.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס