community-alignment-dataset
קוד פתוחfacebookcc-by-4.02025-05-13
מעל מאתיים אלף השוואות העדפה רב-לשוניות של מודלי שפה, שנאספו ממתייגים אנושיים מחמש מדינות שונות. המאגר מציע הסברים טבעיים לבחירות ומידע שמאפשר לחקור התאמה מותאמת אישית ותרבותית.
- 493הורדות בחודש
- 41לייקים
מה זה
המאגר מכיל מעל 200,000 השוואות העדפה רב-שלביות בין תשובות של מודלי שפה, שנאספו מיותר מ־3,500 מתייגים שונים. כ־66% מההשוואות אינן באנגלית, אלא בצרפתית, איטלקית, הינדית ופורטוגזית. עבור 44% מההשוואות המתייגים הוסיפו הסבר מילולי מפורט מדוע העדיפו תשובה אחת על פני השנייה, וישנם מעל 2,500 פרומפטים שכוללים לפחות עשר תגיות שונות מאנשים שונים.
גרסה 1.1 של המאגר מאחדת את הנתונים לסט יחיד, המבוסס על הסינון שהוגדר בגרסה הראשונה. הסינון הזה מסיר שיחות עם שלבים חסרים, שגיאות זיהוי שפה, ופרומפטים שבהם המתייגים השתמשו בשדה הפרומפט כדי לכתוב הסבר אישי או ביקשו מהמודל לבחור את התשובה בעצמו. הגרסה העדכנית הוסיפה 41,000 השוואות מקבוצות דמוגרפיות שהיו בתת-ייצוג כדי לאזן את המידע בין חמש המדינות המשתתפות.
מתאים ל
- אימון מודלי תגמול רב-לשוניים
אימון מודלי העדפה שמסוגלים לדרג תשובות בשפות אירופיות ובהינדי, בהתבסס על העדפות של דוברי השפות.
- מחקר על התאמה אישית של תוכן
שימוש ברצף השיחות לכל מתייג כדי לבחון אלגוריתמים של התאמת תשובות לסגנון אישי ותרבותי.
- ניתוח הסברי העדפה אנושיים
בניית מודלים שמנמקים מדוע תשובה אחת טובה מאחרת באמצעות עשרות אלפי ההסברים המילוליים שנאספו.
איפה זה נופל
המאגר מוגבל לחמש שפות בלבד: אנגלית, הינדי, צרפתית, איטלקית ופורטוגזית, ללא עברית כלל. בערך 31% מהשיחות נפתחו בפרומפטים חופשיים שכתבו המתייגים עצמם, ולכן המפרסמים מדגישים שחובה להפעיל מנגנוני סינון ובקרת תוכן עצמאיים לפני שמאמנים מודל, כדי למנוע חדירת תכנים לא הולמים למערכת שלכם.
שאלות
נפוצות
האם יש במאגר נתונים בעברית?
לא, המאגר כולל חמש שפות בלבד: אנגלית, צרפתית, איטלקית, פורטוגזית והינדית. אם אתם מחפשים לאמן מודלים על העדפות מקומיות בישראל או בשפה העברית, תצטרכו לפנות למאגרים אחרים או לתרגם את הנתונים.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון הוא CC-BY-4.0 ומאפשר שימוש מסחרי מלא באימון מודלים ובמערכות ייצור. החובה היחידה שחלה עליכם היא מתן ייחוס וקרדיט לחוקרים שפרסמו את הדאטהסט על פי דרישות הרישיון.
מאיפה הגיעו הנתונים וההשוואות?
הנתונים נאספו ממעל 3,500 מתייגים אנושיים מחמש מדינות, שדירגו תשובות שונות של מודלי שפה עבור שיחות מרובות שלבים. בחלק מהמקרים המתייגים יזמו את השיחה בעצמם, ובחלקם קיבלו פרומפטים מוכנים מראש.
מה ההבדל בין המאגר הזה למאגרי העדפה סטנדרטיים?
מרבית מאגרי ההעדפה מתמקדים באנגלית בלבד ומציגים רק בחירה בינארית ללא נימוק. כאן שני שלישים מההשוואות אינם באנגלית, כמעט חצי מהן כוללות הסבר טבעי בכתב, ויש ריכוז גבוה של אינטראקציות לכל מתייג שמאפשר מחקר על התאמה אישית.
איך טוענים
הנתונים מגיעים בקובץ community_alignment.csv ללא צורך באישור גישה מקדים או תהליך הרשמה מיוחד. אחד השדות המרכזיים בקובץ הוא is_pregenerated_first_prompt, שמסמן האם הפרומפט הראשון נכתב על ידי המתייג או נוצר מראש. בנוסף, חציון השיחות למתייג עומד על 26, כך שמזהי המתייגים חיוניים למי שרוצה לפלח העדפות ברמת המשתמש הבודד.
from datasets import load_dataset
ds = load_dataset("facebook/community-alignment-dataset")הרישיון
המאגר משוחרר תחת רישיון Creative Commons Attribution 4.0, המוכר כ־CC-BY-4.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים ושל מודלים שאומנו עליהם, ואינו דורש שיתוף באותו רישיון. התנאי היחיד הוא מתן קרדיט וייחוס הולם למחברים המקוריים על פי דרישות הציטוט המופיעות בפרסום.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס