Inverse_IFEval
קוד פתוחm-a-pרישיון לא דווח2025-09-01
המאגר בוחן אם מודלי שפה מסוגלים לציית להוראות שמנוגדות ישירות להרגלי האימון שלהם. הוא כולל בדיקות שדורשות מהמודל לטעות בכוונה, להתעלם ממוסכמות עיצוב, או לכתוב קוד בלי הערות.
- 226הורדות בחודש
- 27לייקים
מה זה
המאגר מכיל 1,012 שאלות הערכה שמחולקות שווה בשווה בין אנגלית לסינית, 506 דוגמאות בכל שפה, ומכסה 23 תחומי ידע כמו מדעי המחשב, מתמטיקה, ביולוגיה ומשפטים. הרשומות מפוצלות לשמונה קטגוריות של הוראות חריגות, ביניהן יצירת שגיאות טקסט יזומות, כתיבת קוד ללא הערות, מענה שגוי בכוונה, ושינוי הוראות באמצע הפרומפט.
תהליך הבנייה כלל חמישה שלבים. החוקרים ניתחו פרדיגמות נפוצות באימון מודלים והפכו אותן, ניסחו שאלות בסיס ידניות, יצרו הרחבה סינתטית בעזרת מודלי שפה, סיננו את הפלט באופן אוטומטי, ובסוף העבירו את הנתונים בדיקה ואימות של מומחים אנושיים.
מתאים ל
- בדיקת ציות עיוור להנחיות
בחינה של יכולת המודל לוותר על הרגלי תשובה אוטומטיים ולבצע הנחיה חריגה במדויק.
- מדידת עמידות בפני הטיות
הערכה כמותית של נטיית המודל לתקן את המשתמש גם כשנדרש ממנו לטעות בכוונה.
- כיול תהליכי יישור מודלים
זיהוי נקודות תורפה בתהליכי התאמה שמקבעים דפוסי התנהגות נוקשים מדי.
איפה זה נופל
אין כאן מילה אחת בעברית, כל המאגר בנוי רק על אנגלית וסינית. הנתונים מיועדים להערכה ולא לאימון, ואם תאמנו עליהם תלמדו את המודל לכתוב תשובות שגויות ולהפיק פגמים בכוונה. בנוסף, מנגנון הבדיקה נשען על שיפוט אוטומטי של מודלי שפה, ולמרות הדיווח על 98 אחוזי דיוק, שופטים כאלה עדיין סובלים מטעויות והטיות מערכתיות בעצמם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ לגעת בו כרגע לשימוש כזה. בדף המאגר לא הוגדר רישיון, ובמצב כזה כל הזכויות שמורות ליוצרים עד שיוגדר אחרת. שימוש מסחרי ללא רישיון מפורש חושף אתכם לתביעות זכויות יוצרים.
האם יש במאגר דוגמאות בעברית?
אין בכלל עברית במאגר. 1,012 הדוגמאות מחולקות בצורה שווה בלבד בין אנגלית לסינית. אם המערכת שלכם פועלת בעברית, תצטרכו לתרגם את השאלות ולהתאים את תבניות השיפוט מחדש.
מה ההבדל בין המאגר הזה לבין IFEval הרגיל?
בעוד שדאטהסטים רגילים בודקים ציות לכללים מקובלים כמו הגבלת מילים או מבנה רשימה, כאן בודקים הוראות שמנוגדות ישירות לאימון הבסיסי של המודל. המשימות כוללות דרישות לייצר שגיאות מכוונות, להשמיט הערות בקוד, או להפיק עובדות שגויות על פי דרישה.
כמה מקום ומשאבים צריך כדי להריץ את ההערכה?
המאגר עצמו שוקל מגה-בייטים בודדים וכולל כאלף שאלות בלבד בקובצי JSON ו־CSV. החלק הכבד הוא לא האחסון אלא הרצת ההערכה, כיוון שהתהליך דורש קריאות כפולות למודל הנבדק ולמודל שישמש כשופט עבור כל דוגמה.
איך טוענים
הנתונים יושבים בקובץ JSON בשם Inverse_IFEval_Dataset.json ובקובץ CSV מקביל בנפח של כאלף רשומות, כך שההורדה שוקלת מעט מאוד ואין צורך באישורי גישה מיוחדים. לצורך הרצת בדיקות תצטרכו להזין את הפרומפט למודל הנבדק, ואז להעביר את הפלט יחד עם שדות תשובת הייחוס וקריטריוני הניקוד למודל שופט בהתאם לתבניות הניקוד שהוגדרו בכרטיס.
from datasets import load_dataset
ds = load_dataset("m-a-p/Inverse_IFEval")הרישיון
היוצרים לא דיווחו על רישיון כלל, מה שאומר שמבחינה משפטית כל הזכויות שמורות להם כברירת מחדל. אם אתם בונים מוצר מסחרי או מפתחים מודל פנימי בחברה, אי אפשר להשתמש במאגר באופן חוקי עד שהחוקרים יפרסמו תנאי שימוש ברורים.