open-license-corpus
קוד פתוחkernelmachineapache-2.02023-08-08
המאגר מרכז 228 מיליארד טוקנים מטקסטים עם רישיונות פתוחים בלבד, כמו נחלת הכלל וקוד פתוח. הוא נבנה עבור מי שרוצה לאמן מודל שפה בלי להסתבך עם תביעות זכויות יוצרים.
- 2,442הורדות בחודש
- 19לייקים
מה זה
הנתונים מגיעים מ־17 מקורות שונים שמחולקים לשמונה תחומים עיקריים: מדע, קוד מגיטהאב, אנציקלופדיה מויקיפדיה, טקסטים משפטיים, דיונים מפורומים, ספרים, מתמטיקה וחדשות. המבנה עצמו שטוח לחלוטין, וכל רשומה מכילה שדה טקסט יחיד ללא מטא-דאטה נוסף.
איסוף המידע התבסס אך ורק על תכנים בעלי רישיונות מוגדרים מראש: נחלת הכלל, רישיונות תוכנה חופשיים כמו MIT ו־Apache, ורישיונות ייחוס מסוג קריאייטיב קומונס. היוצרים ביצעו סינון כפילויות ברמת המסמך באמצעות חפיפת n-gram בתוך התחומים וגם מול מערכי הבדיקה של The Pile כדי למנוע זליגת מידע, אך לא הוסיפו סינוני איכות מעבר למה שהיה במקורות הבסיס.
מתאים ל
- אימון מודלי בסיס פתוחים
אימון מקדים של מודלי שפה שמיועדים לשחרור ברישיון מסחרי נקי יחסית מסיכוני זכויות יוצרים.
- הערכת ביצועי מודלים
מדידת פרפלקסיטי על טקסטים מתחום המשפט, התוכנה והמדע כדי לבדוק שליטה בידע מקצועי.
- מחקר על רישוי נתונים
בדיקת ההשפעה של הגבלת נתוני אימון למקורות ברישיון חופשי על איכות הפלט הסופי של המודל.
איפה זה נופל
ההסתמכות על נחלת הכלל מביאה איתה טקסטים ישנים מספרים שפג תוקף זכויות היוצרים שלהם, מה שמייצר הטיות גזעיות ותכנים פוגעניים שהיו נפוצים בעבר. בנוסף, לא נעשה שום ניקוי של פרטים מזהים, כך ששמות ומידע אישי עדיין מופיעים בטקסטים המשפטיים ובדיוני הרשת. מבחינת שפות, הדאטהסט כמעט כולו באנגלית, למעט חלק קטן מוויקיפדיה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
המאגר מפורסם תחת Apache 2.0 שמאפשר שימוש מסחרי, אך חלק מתת המאגרים כוללים רישיונות כמו CC BY-SA שמחייבים ייחוס ולעיתים שיתוף זהה. היוצרים עצמם מזהירים שלא לראות בו בטוח לחלוטין לכל שימוש וממליצים להתייעץ עם עורך דין.
האם יש במאגר טקסטים בעברית?
המאגר מיועד וממוקד כמעט כולו לשפה האנגלית. יש בו מעט טקסטים בשפות אחרות מתוך תת-המאגר של ויקיפדיה, אבל אין בו נפח משמעותי בעברית שמתאים לאימון.
איך נאסף המידע למאגר?
החוקרים אספו נתונים מ־17 מקורות ציבוריים מוכרים שכללו ספריות קוד בגיטהאב, מאגר פסקי דין, מאמרים מ־arXiv ודיונים מ־Stack Exchange. הם שמרו רק תכנים שתויגו תחת נחלת הכלל או רישיונות תוכנה חופשיים.
מה ההבדל בינו לבין The Pile או RedPajama?
המאגר מסנן החוצה כל טקסט שנאסף בסריקת רשת כללית ללא רישיון ברור, בניגוד למאגרים גדולים אחרים שכוללים חומר מוגן בזכויות יוצרים. המחיר הוא פחות מגוון בטקסטים מודרניים והסתמכות כבדה על ספרות ישנה ומסמכים רשמיים.
איך טוענים
טוענים את הנתונים דרך ספריית datasets ישירות מהאגינג פייס, ללא צורך באישור גישה מוקדם. המאגר כולל מעל 15,000 קבצים מכווצים בפורמט jsonl.gz, ולכן מומלץ מאוד לעבוד במצב streaming במקום להוריד את כל הנפח לכונן המקומי. כל תת-תחום נטען כחלק נפרד, וכדי לאמן על שילוב ביניהם משתמשים בפונקציית interleave_datasets תוך קביעת משקלים לכל מקור.
from datasets import load_dataset
ds = load_dataset("kernelmachine/open-license-corpus")הרישיון
המאגר עצמו מופץ תחת רישיון Apache 2.0, שמתיר שימוש מסחרי, שינוי והפצה ללא תמלוגים. עם זאת, התכנים בפנים כוללים גם רישיונות CC BY-SA הדורשים שיתוף תחת אותו רישיון וייחוס יוצרים, כך שההשלכות המשפטיות על מודל שמאומן על כלל המאגר דורשות בדיקה מול ייעוץ משפטי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים