election_questions
קוד פתוחAnthropiccc-by-nc-sa-4.02024-06-04
שאלות לבדיקת מודלים על בחירות, דיוק עובדתי וסירוב למניפולציות. אנתרופיק שחררו אותו כדי שתוכלו לבדוק אם המודל שלכם פולט שטויות או משתף פעולה עם קמפיינים פוליטיים.
- 948הורדות בחודש
- 23לייקים
מה זה
המאגר כולל בין אלף לעשרת אלפים רשומות שמחולקות לשלושה קובצי CSV נפרדים, כולם באנגלית. הקובץ הראשון מתמקד בדיוק עובדתי סביב הבחירות באיחוד האירופי ומכיל שאלות שמחפשות מידע מוגדר. שני הקבצים האחרים עוסקים בבחירות בארצות הברית, ושם כל שאלה כבר מתויגת כבטוחה או כמזיקה.
בקובץ הבטיחות הכללי יש שאלות על נושאי בחירות שונים בארצות הברית, והמטרה היא לראות אם המודל עונה על מה שתקין ומסרב למה שמזיק. הקובץ השלישי בודק ניסיונות שכנוע ומניפולציה ממוקדת על קבוצות דמוגרפיות ספציפיות בארצות הברית, כדי לתפוס מודלים שמייצרים תעמולה מותאמת אישית.
מתאים ל
- בדיקת סירוב לשכנוע פוליטי
הרצת שאלות ממוקדות דמוגרפיה כדי לוודא שהמודל מסרב לייצר מניפולציות על קהלים בארצות הברית.
- מדידת דיוק עובדתי באיחוד
בחינת יכולת המודל לספק תשובות נכונות לשאלות מידע על מערכת הבחירות של האיחוד האירופי.
- כיול בטיחות כללי לבחירות
שימוש בתיוגי מזיק ותקין כדי להעריך את מנגנון הסירוב של מודלים מול שאלות בחירות שונות.
איפה זה נופל
אנתרופיק מודים בפירוש שהשאלות נוצרו בעזרת מודלי שפה, מה שאומר שיש בפנים שגיאות ואי דיוקים עובדתיים. רק חלק קטן מהדאטהסט עבר בדיקה אנושית, כך שאי אפשר להסתמך עליו כמקור אמת מוחלט. בנוסף, הכל באנגלית בלבד ומתרכז רק באיחוד האירופי ובארצות הברית. אין כאן מילה על ישראל, על פוליטיקה מקומית או על השפה העברית, והנתונים משקפים את המצב של אמצע 2024.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפרויקט מסחרי בחברה?
לא. הרישיון שהוגדר הוא CC BY-NC-SA 4.0, שחוסם שימוש מסחרי מכל סוג. הוא מיועד למחקר פנימי ולהערכות בלבד, ולא תוכלו לשלב אותו במוצר שנמכר ללקוחות.
האם יש בדאטהסט שאלות בעברית או על הבחירות בישראל?
אין בו שום תוכן בעברית. כל הנתונים באנגלית, והנושאים מכסים אך ורק את הפוליטיקה של ארצות הברית ואת הבחירות באיחוד האירופי. אם המטרה שלכם היא לבדוק מודל מול בחירות בישראל, תצטרכו לבנות שאלות בעצמכם.
איך הנתונים נאספו ונבדקו?
אנתרופיק ייצרו את השאלות בעזרת מודלי שפה אחרים, ולא מאיסוף ידני של משתמשים. הם ביצעו בדיקה אנושית רק על מדגם קטן מתוך הרשומות, כך שייתכנו שגיאות או ניסוחים בעייתיים בחלקים שלא נבדקו בידי אדם.
מה הגודל של המאגר וכמה מקום הוא דורש?
מדובר במאגר זעיר של בין אלף לעשרת אלפים שאלות שיושבות בשלושה קובצי CSV בלבד. הוא יורד תוך שניות בודדות, רץ ישירות בזיכרון בלי שום דרישות חומרה מיוחדות ולא דורש שמירה של נפחים כבדים.
איך טוענים
טוענים אותו ישירות דרך הספרייה הרגילה של Hugging Face בפקודת load_dataset עם המזהה המלא. המאגר פתוח לגמרי, אין צורך בבקשת גישה או אישור מיוחד, והוא שוקל מעט מאוד כי הוא מכיל בסך הכל חמישה קבצים, מתוכם שלושה קובצי CSV פשוטים. השדה המרכזי שמעניין אתכם הוא השאלה עצמה, ובשני הקבצים של ארצות הברית יש גם את עמודת התיוג שמגדירה אם הקלט נחשב מזיק או לא.
from datasets import load_dataset
ds = load_dataset("Anthropic/election_questions")הרישיון
הרישיון הוא CC BY-NC-SA 4.0, וזה אומר שאסור להשתמש בו לצרכים מסחריים. אתם יכולים לחקור ולהעריך איתו מודלים פנימיים, אבל אסור למכור שירות שנשען עליו. אם אתם משנים את הנתונים ומפיצים אותם, אתם חייבים לתת קרדיט לאנתרופיק ולהפיץ תחת אותו רישיון בדיוק. אימון מודל על הדאטהסט הזה עלול להגביל את השימוש המסחרי בתוצר.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא