coval

מה זה

הרשומות בנויות סביב הנחיות סינתטיות שנוצרו על ידי הצוות של OpenAI בנושאים בעלי רגישות ערכית או בטיחותית, לרוב בפורמט של שיחה בת תור אחד. עבור כל הנחיה נוצרו ארבע תשובות מועמדות מתערובת מודלים של החברה, והמעריכים דירגו אותן פעמיים, פעם לפי טעמם האישי ופעם לפי מה שלדעתם הכי טוב לעולם. כל דירוג מלווה בנימוק טקסטואלי, ובמידת הצורך בסימון תשובות כבלתי מקובלות עקב בעיות בטיחות או איכות ירודה.

המידע מחולק לארבעה קובצי נתונים עיקריים. הקובץ comparisons כולל את ההנחיות, המועמדים והערכות הדירוג. הקובץ annotators מרכז את פרופיל המתייגים, כולל דמוגרפיה, רמת שימוש בבינה מלאכותית, מידת חשש ממנה, והתשובה שלהם לגבי התנהגות מודל אידיאלית. הקובץ conversation_rubrics מכיל קריטריוני שיפוט שנכתבו ודורגו על ידי המעריכים בסולם שנע בין מינוס עשר לפלוס עשר, לצד גרסה מזוקקת של עד ארבעה קריטריונים מובילים להנחיה. בנוסף קיים קובץ ממוזג שמחבר בין נתוני ההערכה למאפייני המעריך לצורך ניתוח ישיר.

מתאים ל

• מחקר על התאמה תרבותית

  ניתוח הפערים בין תפיסות אישיות לגלובליות של מודלים לפי מדינת המוצא של המעריך.

• אימון מודלי תגמול מבוססי חוקים

  שימוש ברובריקות ובמשקלים המדורגים להכוונת ציוני איכות והעדפה של תשובות טקסט.

• הערכת עמידות של מודלי שפה

  בדיקת תגובות מודל בנושאים שנויים במחלוקת מול סימוני תוכן לא מקובל ונימוקי הפסילה.

איפה זה נופל

המדגם אינו מייצג אוכלוסייה כללית. כל המשתתפים יודעי קרוא וכתוב באנגלית ובעלי גישה לאינטרנט, כאשר קבוצת הגיל 25 עד 34 מהווה 42 אחוז, וההשכלה הגבוהה נפוצה מאוד. גיאוגרפית יש הטיה בולטת, כאשר 362 מתוך 1,012 המעריכים מגיעים מארצות הברית, לצד ייצוג בולט למקסיקו, דרום אפריקה והולנד, ללא נתונים על דוברי עברית או הקשר מקומי ישראלי. ההנחיות עצמן סונתזו באופן מלאכותי ומתמקדות בכוונה בנושאים מעוררי מחלוקת. חלק מהתכנים כוללים טקסטים קשים סביב פגיעה עצמית, מיניות בוטה או הצהרות פוליטיות. בנוסף, רובריקות הליבה שסונתזו בעזרת מודלי שפה נוטות לשקף את עמדות הרוב במדגם, ויוצרי המאגר מציינים כי הן מהוות הוכחת היתכנות ניסיונית בלבד.

איך טוענים

הנתונים מוגשים בקובצי JSONL פשוטים לקריאה ולא נדרש אישור גישה מיוחד כדי להוריד אותם מהמאגר. כדי לנתח דירוגים יחד עם מאפייני המעריכים מומלץ לגשת ישר לקובץ הממוזג, שחוסך פעולות חיבור ומכיל כבר את נתוני הדמוגרפיה, הנימוקים, והחלוקה של ranking_blocks. אם מעוניינים לבנות מערכות תגמול או אימון המבוססות על חוקים, קובץ הרובריקות הוא נקודת הפתיחה הרלוונטית, כאשר שדות המשקלים והקריטריונים מופרדים בו בין הניקוד הגולמי לבין סט הליבה המזוקק.

from datasets import load_dataset

ds = load_dataset("openai/coval")

הרישיון

בעמוד המאגר לא דווח רישיון שימוש. בהיעדר רישיון מוגדר, מבחינה משפטית כל הזכויות שמורות למפרסמת, מה שאומר שאין היתר מפורש להשתמש במידע לאימון מודלים מסחריים, להפצה מחדש או לשילוב במוצרים חיצוניים. השימוש בו בטוח בעיקר למטרות מחקר אקדמי והתרשמות, וכל שימוש יישומי דורש בירור ישיר מול OpenAI.

הרישיון המלא ב־Hugging Face ↗