bold
קוד פתוחAmazonSciencecc-by-4.02022-08-16
המאגר כולל 23,679 פרומפטים מוויקיפדיה לבדיקת הטיות במודלי שפה. הוא מיועד למי שרוצה למדוד הוגנות ביצירת טקסט פתוח בחמישה תחומים חברתיים.
- 2,255הורדות בחודש
- 20לייקים
מה זה
הנתונים מחולקים לחמישה קובצי JSON לפי תחומים: מקצוע, מגדר, גזע, אידיאולוגיות דתיות ואידיאולוגיות פוליטיות. בסך הכל יש כאן 43 תתי קבוצות. תחום המקצועות מחזיק את הנתח הגדול ביותר עם 10,195 פרומפטים שמחולקים ל 18 תתי קבוצות. תחום הגזע כולל 7,657 פרומפטים על פני 4 תתי קבוצות, תחום המגדר כולל 3,204 פרומפטים על פני 2 תתי קבוצות, אידיאולוגיות פוליטיות עם 1,984 פרומפטים ב 12 תתי קבוצות, ואידיאולוגיות דתיות עם 639 פרומפטים בלבד על פני 7 תתי קבוצות.
כל רשומה היא למעשה תחילת משפט שנלקחה מוויקיפדיה באנגלית, במטרה לתת למודל להשלים אותה ולראות מה הוא מייצר. המבנה הפנימי בקבצים מציג מפתח ראשי לפי קטגוריה, תחתיו מפתח של ישות ספציפית, ובתוכו מערך שמכיל את מחרוזת הטקסט המקוטעת. הכרטיס לא מדווח על סינונים מתקדמים שבוצעו מעבר לשליפת המשפטים מהערכים בוויקיפדיה.
מתאים ל
- מדידת הטיות מגדריות
הזנת תחילת משפטים על נשים וגברים למודל כדי לנתח רעלים או סטריאוטיפים בהשלמות.
- בדיקת ייצוג מקצועי
הרצת 10,195 פרומפטים כדי לבחון אילו תכונות המודל משייך לבעלי מקצועות שונים.
- הערכת שיח פוליטי ודתי
בחינת נטיית המודל לייצר טקסט עוין בתגובה למשפטים על אידיאולוגיות שונות.
איפה זה נופל
הנתונים מוגבלים לאנגלית בלבד, ואין כאן עברית כלל. בנוסף, החלוקה הדמוגרפית צרה מאוד. תחום המגדר כולל רק חלוקה בינארית של שתי קבוצות, וחלוקת הגזע מתבססת על ארבע קבוצות בלבד כפי שהן נתפסות בתרבות האמריקאית. החוקרים עצמם מציינים כי ויקיפדיה אינה בסיס ניטרלי להשוואה בגלל הטיה מובנית בקרב הכותבים שלה. ציון טוב על המאגר הזה לא מעיד שהמודל הוגן באופן כללי, אלא רק מול הקטגוריות המצומצמות שנבדקו כאן.
שאלות
נפוצות
האם יש במאגר נתונים בעברית?
לא. כל 23,679 הפרומפטים נאספו מוויקיפדיה באנגלית בלבד. אם אתם מחפשים להעריך מודל שמייצר טקסט בעברית, המאגר הזה לא יתאים בלי תרגום והתאמה תרבותית.
האם מותר להשתמש במאגר לצרכים מסחריים?
הרישיון המדווח הוא CC BY 4.0, שמאפשר שימוש מסחרי תחת מתן ייחוס ליוצרים. יחד עם זאת, בגוף הכרטיס מוזכר רישיון Share Alike, ולכן מומלץ לוודא את דרישות ההפצה אם אתם משנים את קובצי המקור.
מה הגודל של המאגר והאם קשה להריץ אותו?
המאגר קטן מאוד ומכיל בסך הכל שבעה קבצים, מתוכם חמישה קובצי JSON. המשקל זניח, הטעינה מיידית בכל סביבת פיתוח, ואין צורך בהרשאות גישה מיוחדות מול Hugging Face.
איך נאספו הפרומפטים?
החוקרים שלפו חלקי משפטים מתוך ערכים בוויקיפדיה באנגלית סביב חמישה תחומים מוגדרים. המשפטים נקטעו כך שישמשו כהתחלה פתוחה, כדי לחייב את מודל השפה להמשיך אותם באופן עצמאי.
איך טוענים
אין צורך לבקש אישור גישה מיוחד כדי להוריד את החומר. המאגר מורכב משבעה קבצים, כולל README וחמישה קובצי JSON שמחזיקים את הפרומפטים לפי התחומים, כמו gender_prompt_wiki.json או race_prompt_wiki.json. טוענים ישירות את הקבצים וניגשים למפתחות של שמות הישויות כדי לחלץ את רשימת המשפטים להשלמה. מדובר בטקסט פשוט בגודל קטן שאינו דורש משאבי חישוב מיוחדים לצורך טעינה.
from datasets import load_dataset
ds = load_dataset("AmazonScience/bold")הרישיון
הרישיון שמדווח במאגר הוא CC BY 4.0, אם כי בכרטיס עצמו מוזכר גם Creative Commons Attribution Share Alike 4.0 International. שני הרישיונות מתירים שימוש מסחרי, אך מחייבים מתן קרדיט מתאים ליוצרים. אם חל סעיף שיתוף זהה, כל עבודה נגזרת או שינוי של המאגר יחייבו הפצה תחת תנאים דומים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס