alignment-research-dataset
קוד פתוחStampyAImit2023-04-26
מאגר טקסטים ממוקד בנושאי בטיחות ויישור בינה מלאכותית, שנאסף ממאמרים אקדמיים, ספרים ובלוגים. הוא מיועד למי שרוצה לאמן מודלים על ספרות התחום בלי לבצע גרידה עצמאית.
- 2,405הורדות בחודש
- 16לייקים
מה זה
המאגר כולל עשרות אלפי רשומות טקסט מלא שמקורן בקהילת מחקר הבטיחות. בין המקורות תמצאו מאמרים מ־arXiv, פוסטים נבחרים מפורומים כמו LessWrong ו־Alignment Forum, תכנים מאתרים של גופי מחקר כמו DeepMind ו־OpenAI, וכן תמלולים של ערוצי יוטיוב ספציפיים לתחום. החומר נאסף באמצעות סקריפטים של גרידה אוטומטית לצד בחירה ידנית של מסמכים ייעודיים.
כל רשומה מגיעה במבנה קבוע שכולל מזהה ייחודי, שם המקור, כותרת, רשימת מחברים, הקישור המקורי, תאריך פרסום בפורמט UTC ותוכן הטקסט המלא. חלק מהמקורות עשויים להכיל שדות נוספים בהתאם למבנה המקורי שממנו הגיעו. הקבצים עצמם מחולקים לפי מקורות בפורמט jsonl, לצד קובץ טעינה ייעודי.
מתאים ל
- אימון מודלים למענה על שאלות
התאמת מודלי שפה לתחום בטיחות הבינה המלאכותית על בסיס הטקסטים המחקריים והספרות הקיימת.
- שליפת מידע עבור RAG
שימוש ברשומות כמסד נתונים למערכות אחזור מידע מתוך פוסטים ומאמרי מחקר ביישור בינה מלאכותית.
- ניתוח מגמות מחקר בתחום
ביצוע מחקרים כמותיים ומיפוי של התפתחות רעיונות בקהילת הבטיחות לאורך השנים לפי תאריכי הפרסום.
איפה זה נופל
ההטיה המרכזית שעליה מדווחים היוצרים נובעת מנוכחות גבוהה של תכנים מ־LessWrong, שנוטים באופן מובהק לעיסוק בתרחישי אסון וסיכונים קיומיים. שימוש בחומר הזה לאימון מודלים גנרטיביים עלול לייצר פלטים שמוטים בכיוון הזה. בנוסף, כל החומר באנגלית בלבד, ואין כאן ייצוג לעברית. המאגר הוגדר בעבודה מתמשכת ואינו מתעדכן באופן רציף, כך שהוא אינו כולל פרסומים מאוחרים לתאריך שחרורו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון המוצהר בריפו הוא MIT, והוא מתיר שימוש מסחרי ללא תמלוגים. עם זאת, המאגר מורכב מטקסטים שנאספו מאתרים רבים ללא רישוי אחיד במקור. מי שמפתח מוצר מסחרי צריך לקחת בחשבון את זכויות היוצרים של בעלי התכנים המקוריים.
האם יש במאגר נתונים בעברית?
לא, כל החומר במאגר מוגדר וקיים בשפה האנגלית בלבד. המקורות כולם מגיעים מקהילות מחקר ובלוגים בינלאומיים שכותבים באנגלית. אם אתם מחפשים תכנים מקומיים או בעברית, המאגר הזה לא יתאים לכם.
איך נאספו הטקסטים בפועל?
החומר נאסף באמצעות סקריפרים בקוד פתוח שסרקו אתרים ובלוגים שלמים, לצד שליפה ממאגרים כמו arXiv ואיסוף ידני של קישורים ורשימות קריאה. בחלק מהמקורות נלקחו כל הפוסטים, ובחלקם, כמו LessWrong, נבחרו פוסטים ספציפיים בלבד. תהליך הניקוי והאיסוף נוהל על ידי מתנדבים.
במה הוא שונה מדאטהסטים כלליים של טקסט ומאמרים?
בניגוד למאגרי טקסט כלליים שמכילים מאמרים מכל תחומי המדע או תוכן אינטרנטי רחב, כאן המיקוד כולו הוא בטיחות ויישור בינה מלאכותית. הוא מרכז בלוגים ופורומים שאינם מופיעים במאגרים אקדמיים רגילים, ומספק גישה מובנית לשיח הקהילתי הפנימי של התחום.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות הקריאה load_dataset עם המזהה של StampyAI. אין צורך באישור גישה מראש. אם לא רוצים להוריד את כל החומר, אפשר להעביר כארגומנט שני את שם המקור המבוקש, כמו lesswrong, ולמשוך רק אותו. השדות המרכזיים לעבודה הם text עבור הטקסט המלא, ו־source ו־date_published לצורך סינון ובקרה.
from datasets import load_dataset
ds = load_dataset("StampyAI/alignment-research-dataset")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אין חובה לשתף נגזרות באותו רישיון, ומודל שאומן על הנתונים אינו מחויב ברישוי פתוח. יחד עם זאת, הטקסטים עצמם נאספו מרחבי הרשת ומאתרים שונים, ולכן כדאי לבדוק את מעמד התוכן המקורי לפני שילוב במוצר מסחרי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש