RAGTruth-processed
קוד פתוחwandbרישיון לא דווח2024-11-28
wandb עומדים גם מאחורי Weights & Biases, ויש עליו סקירה כאן.
תמצאו כאן פלטים של מודלי שפה לצד קטעי הקשר ותיוגי הזיות שנעשו בידי מומחים. המאגר מיועד לבדיקה ואימון של מנגנוני איתור הזיות במערכות שליפה וייצור טקסט.
- 1,326הורדות בחודש
- 29לייקים
מה זה
המאגר מכיל שאילתות, קטעי הקשר שנשלפו עבורן, והתשובות שנוצרו בידי מודלים יחד עם מטא דאטה כמו שם המודל והטמפרטורה שלו. מומחים אנושיים בדקו כל פלט ותייגו האם הוא כולל סתירה ישירה למידע שסופק או מידע חסר בסיס שלא מופיע בהקשר כלל, לצד ציון איכות כללי כמו פלט תקין, קטוע או סירוב שגוי של המודל לענות.
החלוקה הפנימית מפרידה בין אימון למבחן. בסט האימון יש 15,090 דוגמאות שמתוכן 6,721 כוללות הזיות, ובסט המבחן יש 2,700 דוגמאות עם 943 מקרים של הזיות מתועדות. בשני החלקים רוב הפלטים תקינים טכנית, כאשר מידע חסר בסיס נפוץ יותר מסתירה ישירה מול הטקסט המקורי.
מתאים ל
- אימון מסווג הזיות
בניית מודל ייעודי שמזהה האם תשובה מסתמכת על המסמכים שנשלפו או ממציאה עובדות.
- הערכת ביצועי RAG
הרצת סט המבחן כדי למדוד כמה המערכת הקיימת שלכם רגישה לסתירות במידע.
- סינון תשובות שגויות
שימוש בתיוגי האיכות כדי ללמד מודל לזהות סירובים שגויים או פלטים קטועים.
איפה זה נופל
התיעוד אינו מציין באילו שפות נאסף המידע או מאיזה מקורות הגיעו קטעי ההקשר, כך שסביר להניח שמדובר באנגלית בלבד. לא מפורט באילו מודלים ספציפיים השתמשו לייצור התשובות או מתי בדיוק נאספו הטקסטים. אם המערכת שלכם פועלת בעברית או מתמודדת עם תחום מקצועי צר, הנתונים האלה לא מייצגים את סוג השגיאות שתראו אצלכם ולא יספיקו לבדם.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
בתיאור הטקסטואלי נכתב שהמאגר שוחרר תחת רישיון MIT, שמתיר שימוש מסחרי חופשי למדי. עם זאת, השדה הרשמי של הרישיון במערכת מסומן כלא דווח. אם אתם עובדים בארגון עם דרישות משפטיות קפדניות, ייתכן שתצטרכו לברר את הנקודה הזו מול היוצרים לפני שימוש בקוד סגור.
האם יש במאגר דוגמאות בשפה העברית?
התיעוד אינו מצהיר על תמיכה בשפות נוספות מעבר לאנגלית, ולא מצוין שיש בו תוכן רב-לשוני. בפועל, מאגרים מסוג זה מבוססים כמעט תמיד על טקסטים באנגלית בלבד. אם אתם בונים פתרון שמיועד לטקסטים בעברית, הנתונים כאן לא יתאימו לבדיקת השפה המקומית.
איך הנתונים נאספו ותויגו?
היוצרים הפיקו תשובות ממודלי שפה על בסיס שאלות וקטעי הקשר נתונים, תוך תיעוד הטמפרטורה ושם המודל. לאחר מכן, מומחים אנושיים עברו על הפלטים ותייגו אותם. התיוג התמקד בשני סוגי כשלים, סתירה ישירה מול ההקשר או הוספת עובדות שלא הופיעו בו כלל.
איך טוענים
הנתונים יושבים בקובצי parquet סטנדרטיים של train ו־test, כך שטוענים אותם ישירות בספריית datasets עם הנתיב wandb/RAGTruth-processed. אין צורך באישור גישה מראש או מילוי טפסים. בעבודה עם הטבלה כדאי להתמקד בשדות של קטעי ההקשר, פלט המודל, ותגיות ההזיה שמחלקות בין סתירה ישירה למידע חסר ביסוס.
from datasets import load_dataset
ds = load_dataset("wandb/RAGTruth-processed")הרישיון
במטא דאטה של המאגר הרישיון מסומן כלא דווח, אך בגוף הכרטיס המפרסמים מציינים שהוא שוחרר תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי, שינוי ואימון מודלים ללא דרישה לשיתוף זהה, אך קיים פער בין הסימון הטכני להצהרה בטקסט, ולכן כדאי לקחת בחשבון את חוסר הבהירות הזו לפני שילוב במוצר מסחרי.