WikiMIA
קוד פתוחswj0419mit2023-10-05
המאגר מיועד לבדיקה אם מודל שפה ראה טקסט מסוים בזמן שלב האימון המקדים. הוא מרכז קטעי טקסט מסווגים ומחולקים לפי אורכים, לצורך הערכת התקפות שיוך.
- 878הורדות בחודש
- 20לייקים
מה זה
מדובר בבנצ'מרק שנועד לבחון שיטות התקפת שיוך, כלומר זיהוי האם נתון מסוים נכלל בדאטהסט האימון המקדים של מודלי שפה גדולים. המאגר מיועד למודלים ששוחררו בין השנים 2017 ל־2023, ביניהם משפחות LLaMA, OPT, Pythia ודגמי דווינצ'י של OpenAI.
המבנה הפנימי מאורגן סביב אורך הטקסטים, עם חלוקה מוגדרת מראש לארבעה אורכים שונים: 32, 64, 128 ו־256. כל רשומה כוללת קטע טקסט ותווית בינארית, שבה הערך 1 מייצג טקסט שהמודל ראה במהלך האימון המקדים, והערך 0 מייצג טקסט שלא נכלל בו.
סך הכל המאגר קטן יחסית ומכיל בין אלף לעשרת אלפים רשומות. החלוקה לפי אורך מאפשרת לבחון כיצד היקף ההקשר משפיע על היכולת של שיטות זיהוי לגלות דליפת מידע או חשיפה של נתוני אימון במודלים השונים.
מתאים ל
- בדיקת התקפות שיוך
מדידת ביצועים של אלגוריתמים לזיהוי חשיפת נתוני אימון מקדים במודלי שפה.
- השוואת השפעת אורך הטקסט
בחינה אם היכולת לזהות טקסט מאימון משתפרת ככל שהקטע ארוך יותר.
- בדיקת פרטיות למודלים ישנים
הערכת מידת השינון של מודלים ששוחררו בשנים 2017 עד 2023.
איפה זה נופל
הנתונים כולם באנגלית בלבד, כך שאין שום דרך להשתמש בזה למודלים בעברית או לבדיקת דליפות בטקסט מקומי. בנוסף, הכיסוי מוגבל מראש למודלים שפורסמו עד 2023. אם אתם עובדים עם מודל מודרני יותר, הסימונים של מה נראה ומה לא נראה פשוט לא בהכרח יתאימו לדאטהסטים שלו.
שאלות
נפוצות
האם המאגר כולל טקסטים בעברית?
לא. המאגר מכיל טקסטים באנגלית בלבד. הוא אינו מתאים לבדיקת מודלים על שפה מקומית.
האם מותר להשתמש בדאטהסט בפרויקט מסחרי?
כן, הרישיון המדווח הוא MIT. אפשר להריץ עליו בדיקות ומחקר במסגרת מסחרית ללא הגבלה מיוחדת מעבר למתן קרדיט.
כמה רשומות יש במאגר ואיך הוא בנוי?
המאגר כולל בין אלף לעשרת אלפים רשומות. הוא מחולק לארבעה קבצי parquet לפי אורכי קטעים של 32, 64, 128 ו־256 מילים.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות ציון שם המאגר והאורך הרצוי בספליט, למשל WikiMIA_length64. הקבצים יושבים בפורמט parquet לפי האורכים 32, 64, 128 ו־256. אין צורך באישור גישה או בהרשמה מיוחדת, והשדות העיקריים שמעניינים אתכם הם הטקסט והתווית שמסמנת אם המידע נראה באימון.
from datasets import load_dataset
ds = load_dataset("swj0419/WikiMIA")הרישיון
המאגר מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולהפיץ אותו הלאה, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי. אין חובת שיתוף תחת אותו רישיון, ואימון או בדיקה של מודל עליו לא כובלים את התוצרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש