amnesty_qa
קוד פתוחvibrantlabsaiapache-2.02023-12-08
מאגר שאלות ותשובות מבוסס מקורות מדוחות אמנסטי אינטרנשיונל להערכת מערכות RAG. המטרה כאן היא בדיקת דיוק של שליפה ויצירת תשובות על טקסטים מורכבים בנושאי זכויות אדם.
- 1,839הורדות בחודש
- 30לייקים
מה זה
המאגר מציע סט דוגמאות ממוקד שנועד לבחון צינורות עבודה של שליפת מידע ומענה על שאלות. כל רשומה כוללת שאילתת משתמש, תשובת מקור מוסמכת לאימות, את התשובה שמערכת המודל החזירה בפועל, ורשימת קטעי טקסט רלוונטיים שנשלפו מתוך המסמכים המקוריים כדי להרכיב את הפתרון. התוכן כולו נשען על דוחות מחקר אמיתיים של ארגון אמנסטי אינטרנשיונל, כך שהניסוחים משפטיים, עובדתיים ונוגעים לסוגיות כבדות משקל.
מבחינת חלוקה, אין כאן סטים לאימון או וולידציה אלא רק פיצול יחיד של הערכה שמכיל 20 זוגות של שאלות ותשובות שנבחרו ונערכו בקפידה. המאגר מציע תמיכה בשלוש שפות, אנגלית, הינדי ומלאיאלאם, כאשר כל שפה מיוצגת בתצורה העדכנית שלה. קיימות במאגר גם גרסאות ישנות יותר עם שמות שדות שונים מגרסת v3 הנוכחית, אך הן נשמרות לצורכי תאימות לאחור בלבד עבור מי שכבר הטמיע אותן.
מתאים ל
- בדיקת איכות שליפה
השוואה בין הקטעים שהמנוע שלכם שולף לבין פסקאות המקור של אמנסטי כדי למדוד פגיעה במטרה.
- הערכת הזיות במענה
בחינה האם המודל ממציא פרטים על בסיס הטקסט המצורף או נשאר נאמן לחלוטין למידע שנשלף.
- בנצ'מרק מהיר לפיתוח
הרצה קלילה ומהירה של 20 דוגמאות בצינור הנתונים כדי לוודא שאין קריסות לפני בדיקות רחבות.
איפה זה נופל
גודל המאגר הוא המגבלה הבולטת ביותר. 20 שאלות בלבד לא יספיקו לבחינה מקיפה או לכיסוי סטטיסטי אמין של מערכת RAG, וזה משמש בעיקר לבדיקת שפיות נקודתית. עברית לא קיימת כאן, מה שמחייב תרגום או מציאת משאב חלופי לפרויקטים מקומיים. מעבר לכך, התוכן מגיע מעולם תוכן צר של דוחות זכויות אדם, ולכן מבנה השאלות ואופי ההקשרים לא מייצגים דאטה ארגוני רגיל כמו מסמכים טכניים, שיחות תמיכה או מידע פיננסי.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
כן, רישיון Apache 2.0 מתיר שימוש מסחרי חופשי. אתם רק צריכים לשמור על הודעות זכויות היוצרים והרישיון המקורי בתוכנה או בתיעוד שמצורף אליה.
האם יש בדאטהסט תמיכה בעברית?
לא, המאגר זמין באנגלית, הינדי ומלאיאלאם בלבד. אם המוצר שלכם מיועד לעברית, תצטרכו לתרגם את השאלות וההקשרים או לבחור במאגר אחר.
כמה דוגמאות יש בכל שפה והאם זה מתאים לאימון?
המאגר כולל 20 דוגמאות בלבד בכל שפה במסגרת פיצול הערכה. הכמות הזו קטנה מדי לאימון מודל, והיא מיועדת לבדיקות תקינות ומדידה של מערכות RAG.
באיזו גרסה של הקבצים כדאי להשתמש?
מומלץ להשתמש אך ורק בגרסה v3 עבור השפה שבחרתם. גרסאות v1 ו־v2 מוגדרות מיושנות, ושמות העמודות שלהן שונים ולא נתמכים בפיתוחים חדשים.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets של פייתון בפקודת טעינה פשוטה שמציינת את שם המאגר והקונפיגורציה הרצויה, למשל התצורה האנגלית english_v3. אין צורך בבקשת גישה מיוחדת או באישור ידני כי המאגר פתוח לציבור, והוא מאוחסן בקובצי parquet קלים וזמינים להורדה מידית.
מכיוון שיש רק פיצול אחד מסוג eval, ניגשים ישירות אליו ומחלצים את השדות המרכזיים: שאלת המשתמש, תשובת הייחוס וההקשרים שנשלפו. שמות השדות שונו בין הגרסאות, לכן חשוב לעבוד עם גרסה v3 כדי למנוע שגיאות בקוד ולהשתמש בשמות התואמים לתקן העדכני.
from datasets import load_dataset
ds = load_dataset("vibrantlabsai/amnesty_qa")הרישיון
הרישיון הוא Apache 2.0. מותר להשתמש בנתונים לפרויקטים מסחריים ומחקריים כאחד, לשנות אותם ולהפיץ עבודות נגזרות. אין חובה לפתוח את הקוד או את המודלים שלכם באותו רישיון, אבל נדרש לתת קרדיט ברור ליוצרים, לצרף עותק של הרישיון המקורי ולציין שינויים שביצעתם בקבצים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים