RLVR-IFeval
קוד פתוחallenaiodc-by2024-11-20
המאגר כולל פרומפטים עם אילוצים שניתן לאמת אוטומטית בצורה מדויקת. הוא מיועד למי שמאמן מודלים בלמידת חיזוק ומחפש פונקציית תגמול דטרמיניסטית במקום להסתמך על מודל שופט.
- 2,017הורדות בחודש
- 35לייקים
מה זה
אלן אינסטיטיוט בנו את הנתונים כחלק מפרויקט טולו שלוש, ספציפית לעבודה עם ספריית אופן אינסטראקט שלהם. הרשומות מבוססות על דגימות שנלקחו מתערובת הפרומפטים של טולו שתיים, שעליהן הדביקו באופן אקראי אילוצים מוגדרים מראש מתוך מבחן ההערכה של איי אפ איוואל. המטרה היא להכריח את המודל לציית להוראות טכניות קשיחות, כמו הגבלת מילים או שימוש במבנה מסוים, כשאפשר לבדוק את התוצאה בקוד בלי לנחש.
כל דוגמה במאגר מורכבת מרשימת הודעות שיחה שמוכנה להזנה ישירה למודל, לצד שדות שמפרטים את החוקים שהוטלו עליו. שדה האמת כולל מחרוזת ג'ייסון עם הפרמטרים שצריך לשלוח לפונקציית הבדיקה כדי לאמת אם הפלט עמד במשימה. שאר השדות מגדירים את סוג האילוץ, את התיאור שלו באנגלית פשוטה ואת שם מאגר המקור שממנו נלקחה ההוראה הבסיסית.
המאגר מגיע כקובץ אימון יחיד ולא מפוצל מראש לחלוקות בדיקה או ולידציה. הנתונים מתמקדים אך ורק ביכולת לבצע מעקב אחר הוראות מבוססות חוקים, ולכן אין כאן תשובות מופת קלאסיות של שיחה אלא מנגנון שנועד לכוונן מודלים באמצעות תגמול שניתן לאימות.
מתאים ל
- אימון עם תגמול מבוסס חוקים
אימון מודלים בלמידת חיזוק שבה הציון נקבע לפי עמידה אמיתית באילוצים, ללא צורך במודל שופט נוסף.
- הערכת ציות להוראות
בדיקת היכולת של מודל קיים להישמע לדרישות מחמירות של פורמט, אורך ומבנה לפי כללי המבחן של איי אפ איוואל.
- אימון משולב של שיחה
הוספת משימות אימות טכניות לתוך תהליך הפיינטיון הרגיל כדי למנוע מהמודל לסטות מדרישות המשתמש.
איפה זה נופל
הכרטיס לא מזכיר תמיכה בשפות אחרות, והאילוצים מנוסחים באנגלית, כך שאין כאן מענה לעבודה בעברית. מאחר שהאילוצים הוצמדו לפרומפטים באופן אקראי, עלולים להיווצר שילובים מלאכותיים שלא פוגשים בשיחות אמיתיות עם משתמשים. הקבצים במאגר כוללים אזכור לרישיון של לאמה שתיים, מה שמרמז שחלק מהטקסטים המקוריים הגיעו ממקורות שקשורים למודל הזה. חסר כאן פיצול מובנה לבדיקה, ותצטרכו לבנות בעצמכם את פונקציות האימות התואמות כדי להשתמש בנתונים.
שאלות
נפוצות
האם יש במאגר דוגמאות בעברית?
לא. הנתונים מתבססים על פרומפטים באנגלית ותבניות אילוצים שנלקחו מאיי אפ איוואל המקורית. אם המודל שלכם מיועד לעברית, תצטרכו לתרגם את הפרומפטים ולהתאים את פונקציות הבדיקה למאפייני השפה.
האם מותר להשתמש בדאטהסט לאימון מודל מסחרי?
הרישיון המרכזי שדווח הוא או די סי בי שמאפשר שימוש כזה עם ייחוס מתאים. יחד עם זאת, במאגר מופיעים קובצי רישיון של לאמה שתיים ומסמך פנימי של אלן אינסטיטיוט. יש לעיין בקבצים אלה ולוודא שהשימוש שלכם אינו סותר את המגבלות שלהם.
מה ההבדל בין המאגר הזה לבין איי אפ איוואל הרגיל?
איי אפ איוואל המקורי נועד בעיקר להערכת ביצועים ולא לאימון. כאן לקחו את האילוצים שלו, הצמידו אותם לפרומפטים מתוך טולו שתיים, וארגנו אותם בפורמט שמתאים ישירות לאימון למידת חיזוק בספריית אופן אינסטראקט.
האם אפשר להשתמש בנתונים ישירות בלי קוד נוסף?
לא באופן מלא. שדה האמת מכיל רק פרמטרים בפורמט ג'ייסון, ולא את פונקציות הבדיקה עצמן. כדי להשתמש בנתונים ללמידת חיזוק, אתם חייבים לחבר את שדה הבדיקה לקוד שמריץ את האימות בפועל.
איך טוענים
אתם מושכים את הקובץ ישירות מקוד פייתון רגיל עם ספריית הדאטהסטס של האגינג פייס. הנתונים שמורים בקובץ פרקט יחיד בשם טריין, והגישה אליו פתוחה לגמרי ללא צורך בהרשמה מוקדמת או בקשת אישור מיוחדת. כשמעבדים את השורות, שדה המסנג'ס כבר מכיל את הפורמט של השיחה, אבל העבודה האמיתית היא לפרוס את שדה הגראונד טרות' ממחרוזת ג'ייסון למבנה נתונים. המבנה הזה מכיל את המשתנים שפונקציית הבדיקה שלכם צריכה כדי לחשב את ציון התגמול בזמן הריצה.
from datasets import load_dataset
ds = load_dataset("allenai/RLVR-IFeval")הרישיון
הרישיון המדווח בעמוד הוא או די סי בי, שדורש מתן קרדיט בלבד ומאפשר שימוש מסחרי והפצה. עם זאת, המאגר כולל גם קובץ רישיון של לאמה שתיים וקובץ תנאים נוסף של אלן אינסטיטיוט. אם בכוונתכם לאמן מודל מסחרי, לא כדאי להסתמך רק על ההצהרה בראש העמוד, אלא לבדוק את התנאים בקבצים הפנימיים כדי לוודא שאין מגבלות שימוש שחלות על הנתונים.