RedPajama-Data-Instruct
קוד פתוחtogethercomputerapache-2.02023-06-05
המאגר מאגד משימות הוראה מ־P3 ומ־Natural Instructions שעברו ניקוי אגרסיבי מפני דליפת נתונים. הוא נבנה במיוחד למי שרוצה לאמן מודל ולהעריך אותו בצורה אמינה על בנצ׳מרק HELM.
- 105הורדות בחודש
- 35לייקים
מה זה
הנתונים מורכבים משני מקורות בולטים בעולם ה־NLP, המאגר P3 של BigScience שנאסף במיקור המונים, ו־Natural Instructions של מכון אלן. במקור היו שם 1069 משימות עם 93.3 מיליון דוגמאות, אך הצוות סינן החוצה 137 משימות ו־5.2 מיליון רשומות כדי למנוע זיהום של מבחני הערכה.
הסינון התבצע מול דוגמאות הוולידציה של HELM בשני שלבים. תחילה חיפשו דמיון סמנטי והסירו משימות שלמות שהציגו חפיפה של עשרה גרמים עם משימות המבחן. בשלב השני מחקו כל רשומה בודדת שהכילה רצף זהה של עשרה גרמים מול דוגמת ולידציה כלשהי, גם אם המשימה הכללית נשארה.
התוכן מחולק לשני קבצים נפרדים לפי המקור, וכל אחד שומר על מבנה מעט שונה. בחלק של P3 תמצאו שדות של הוראות וקלט יחד, פלט רצוי ומטא-דאטה, בעוד שבחלק של Natural Instructions ההנחיה מופרדת לשדה משלה לצד שדות הקלט, המטרה והמידע הנוסף.
מתאים ל
- אימון מודלי שפה להוראות
כוונון עדין של מודלים פתוחים על מגוון רחב של משימות NLP באנגלית.
- הערכה נקייה מול HELM
אימון מקדים או כוונון לקראת מבחני ביצועים בלי חשש מדליפת נתוני ולידציה.
- מחקר על דליפת מידע
השוואת ביצועי מודלים שאומנו על נתונים שעברו דקונטמינציה לעומת המאגרים המקוריים.
איפה זה נופל
הנתונים מוגדרים רשמית ככאלה שמכילים בעיקר אנגלית, כך שאין כאן מענה לפיתוח או אימון בעברית. בנוסף, למרות שהניקוי מול HELM היה אגרסיבי, הוא התמקד רק בבנצ׳מרק הספציפי הזה ואינו מבטיח הגנה מדליפה מול מבחנים פופולריים אחרים. לפני שרצים לאמן, צריך לקחת בחשבון גם את ההבדלים במבנה השדות בין שני המקורות, שמחייבים התאמה בקוד.
אותה משפחה
RedPajama-Data יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המאגר כולל עברית?
הכרטיס מציין שהשפה העיקרית היא אנגלית. אין במאגר התייחסות לתמיכה בעברית, ולכן הוא לא מתאים למי שמחפש לכוונן מודל לשפה המקומית.
האם מותר להשתמש בדאטהסט למוצר מסחרי?
כן, הרישיון המדווח הוא Apache 2.0 שמאפשר שימוש מסחרי חופשי. עליכם רק לספק ייחוס מתאים ולצרף את עותק הרישיון לפי תנאיו.
מה ההבדל בינו לבין P3 או Natural Instructions המקוריים?
ההבדל המרכזי הוא תהליך הניקוי. המפרסמים סיננו החוצה 137 משימות ומעל חמישה מיליון דוגמאות שהיו עלולות לזהם את תוצאות הוולידציה של HELM.
איך ניגשים לנתונים מתוך הקוד?
הנתונים מחולקים לשני קבצים דחוסים בפורמט jsonl.zst. יש לטעון כל קובץ בנפרד תוך התאמת הקוד לשמות השדות השונים בכל מקור.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets על ידי הפניה לקבצי ה־jsonl.zst הדחוסים שבמאגר. אין צורך באישור גישה מיוחד, הקבצים פתוחים להורדה ישירה. שימו לב שהמבנה משתנה בין שני הקבצים: ב־P3 עובדים עם inputs, targets ו־meta, ואילו בקובץ של Natural Instructions ההוראה נמצאת בשדה definition והקלט מגיע בנפרד תחת inputs.
from datasets import load_dataset
ds = load_dataset("togethercomputer/RedPajama-Data-Instruct")הרישיון
המאגר מופץ תחת רישיון Apache 2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הנתונים והפצה שלהם, כולל אימון מודלים לצרכים פנימיים או מסחריים. תנאי השימוש דורשים מתן קרדיט ושמירה על הודעת הרישיון המקורית, אך אין חובה לשחרר מודלים שאומנו עליו תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים