just-eval-instruct
קוד פתוחre-alignרישיון לא דווח2023-09-11
המאגר כולל 1,000 הוראות להערכת ביצועי מודלי שפה, מתוכן 800 לפתרון בעיות ו־200 לבדיקות בטיחות. הוא מרכז פניות מכמה מקורות מוכרים כדי לתת תמונת מצב מהירה על התנהגות המודל.
- 1,174הורדות בחודש
- 34לייקים
מה זה
הנתונים מחולקים לשני חלקים עיקריים וכוללים 1,000 דוגמאות של הוראות למודלים. החלק הראשון מכיל 800 הוראות שמיועדות לבדיקת יכולות פתרון בעיות כלליות, והחלק השני כולל 200 הוראות שמיועדות באופן ספציפי לבדיקות בטיחות ועמידות בפני תקיפות.
המפתחים אספו את הדוגמאות מתוך חמישה מקורות שונים ברשת: AlpacaEval, שמכיל בעצמו נתונים מחמישה מאגרים שונים, סט הבדיקה של LIMA, פרומפטים מתוך MT-bench, ניסיונות red teaming של Anthropic, והמאגר MaliciousInstruct. כל רשומה כוללת תיוג של סוג המשימה והנושאים שלה, כאשר כל דוגמה יכולה להחזיק תגית אחת או יותר.
במאגר עצמו ישנם 44 קבצים שמכילים סקריפטים לעיבוד הנתונים כמו הוספת תגיות, המרת פורמטים וחלוקה לקבצי רכבת, אימות ומבחן תחת תיקיית evaluation בפורמט jsonl.
מתאים ל
- בדיקת עמידות מודל
הרצת 200 הוראות הבטיחות מול המודל כדי לראות אם הוא נכנע לפניות זדוניות ומתקפות red teaming.
- הערכת יכולות שיחה
בחינת 800 הוראות פתרון הבעיות מול מודלים שונים כדי למדוד את איכות התשובות במגוון נושאים.
- פילוח ביצועים לפי נושא
שימוש בתיוגי המשימות הקיימים ברשומות כדי לזהות תחומים שבהם המודל מתקשה או טועה.
איפה זה נופל
המאגר מבוסס כולו על אנגלית שנלקחה ממאגרי הערכה מוכרים, כך שאין בו ייצוג לשפות אחרות כמו עברית. הוא משקף נתונים שנאספו סביב ספטמבר 2023 ומורכב ממקורות שחלקם נבנו מראש עבור תרחישי קיצון כמו מתקפות jailbreak, ולכן הסט אינו מייצג פניות משתמשים טיפוסיות באפליקציות רגילות. בנוסף, חסר בכרטיס פירוט מלא לגבי אופן הסינון של הדוגמאות מתוך המאגרים המקוריים, ויש לבדוק את התכנים הזדוניים לפני שמשלבים אותם בסביבות אוטומטיות ללא השגחה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
הרישיון של המאגר לא דווח כלל על ידי המפרסם, ולכן אין אישור מפורש לשימוש מסחרי. בנוסף, המידע נאסף ממאגרים שונים כמו Anthropic ו־MaliciousInstruct, שלכל אחד מהם עשויים להיות תנאי שימוש משלו. בגלל המצב המשפטי הלא ברור, שימוש מסחרי כרגע מהווה סיכון.
כמה המאגר שוקל וכמה זמן לוקח להוריד אותו?
מדובר במאגר קטן מאוד שמכיל 1,000 שורות טקסט בלבד יחד עם מספר קובצי פייתון. ההורדה שלו נמשכת שניות בודדות ולא דורשת שטח אחסון מיוחד. אפשר לעבוד איתו בקלות גם על מחשב נייד בסיסי בלי שרת ייעודי.
האם הדאטהסט כולל שאלות בעברית?
הנתונים במאגר מבוססים על מקורות באנגלית בלבד כמו AlpacaEval ו־MT-bench. אין בו רשומות בעברית כלל. אם אתם בודקים מודל שמיועד לשפה העברית, תצטרכו לתרגם את ההוראות בעצמכם או לבנות סט בדיקה מקומי.
איך בדיוק נאספו הנתונים למאגר?
המפרסמים ליקטו 1,000 דוגמאות מתוך מאגרי הערכה מוכרים קיימים, בהם LIMA-test וניסיונות red-teaming של Anthropic. 800 דוגמאות הוקצו לבחינת פתרון בעיות ו־200 לבדיקות בטיחות. לכל דוגמה הוצמדו תגיות שמסווגות את סוג המשימה והנושא שלה.
איך טוענים
טוענים את הנתונים ישירות מספריית datasets באמצעות המזהה re-align/just-eval-instruct, או קוראים ישירות את קובצי ה־jsonl מתיקיית evaluation במאגר. אין צורך לבקש אישור גישה מראש כיוון שהמאגר פתוח לציבור, ונפח ההורדה קטן מאוד ומכיל 1,000 רשומות בלבד לצד סקריפטים נלווים בפייתון. השדות החשובים לעבודה הם תוכן ההוראה עצמה והתגיות שמשויכות אליה, שמגדירות את סוג המשימה ואת הנושא לצורך ניתוח ממוקד של התוצאות.
from datasets import load_dataset
ds = load_dataset("re-align/just-eval-instruct")הרישיון
היוצרים לא דיווחו על רישיון שימוש בעמוד המאגר. מבחינה מעשית, היעדר רישיון מוגדר משאיר את זכויות היוצרים בידי היוצרים ומונע שימוש מסחרי בטוח, במיוחד כאשר חלק מהמקורות מגיעים ממאגרים חיצוניים עם תנאים משלהם. לא הייתי בונה מוצר מסחרי או מאמן מודל פנימי על הנתונים האלה בלי לברר קודם את הסטטוס המשפטי של כל מקור.