LongRAG
קוד פתוחTIGER-Labרישיון לא דווח2024-06-21
מאגר שמספק יחידות אחזור של 4,000 תווים וקונטקסטים של עשרות אלפי תווים. הוא נבנה עבור מי שרוצה לבחון מודלים ארוכי הקשר על שאילתות מתוך ויקיפדיה.
- 1,216הורדות בחודש
- 20לייקים
מה זה
הנתונים מחולקים למספר תתי מאגרים עבור שני מקורות שאלות, Natural Questions ו־HotpotQA. במקום פסקאות קצרות בנות 100 מילים, החוקרים קיבצו דפי ויקיפדיה קשורים על בסיס היפר-קישורים פנימיים לכדי יחידות אחזור ארוכות. המאגר מכיל את קובצי הוויקי המקוריים שעברו עיבוד, את קובצי הקורפוס המקובצים, ואת הפלטים המוכנים עבור שלב הקריאה שמחברים את יחידות המידע המובילות לכדי טקסט של עשרים עד שלושים אלף טוקנים.
בנוסף לקורפוסים ולשאילתות, ישנו תת-מאגר של דוגמאות בתוך ההקשר שמסייע לחלץ תשובה קצרה וסופית מתוך תשובות ארוכות. מקור הנתונים של NQ הוא עותק ויקיפדיה מדצמבר 2018 שממנו סוננו דפי רשימות ופירושונים, והוא מכיל כ־3.2 מיליון מסמכים. עבור HotpotQA נעשה שימוש בפסקאות תקציר מתוך עותק ויקיפדיה מאוקטובר 2017 עם כ־5.2 מיליון מסמכים.
מתאים ל
- הערכת מודלי שפה עם הקשר ארוך
בדיקת יכולת המודל לחלץ תשובה מתוך רצף טקסטואלי של 20,000 עד 30,000 טוקנים.
- בחינת שליפה במקטעים רחבים
ניסוי מערכות RAG שמשתמשות ביחידות מידע של 4,000 טוקנים במקום פסקאות בודדות.
- חילוץ תשובות קצרות
אימון ובדיקת ביצועים של חילוץ תשובת זהב ממוקדת מתוך ניסוח תשובה ארוך ומורכב.
איפה זה נופל
כל הטקסטים מבוססים על גרסאות ישנות של ויקיפדיה באנגלית משנת 2017 ו־2018. אין כאן מידע עדכני ואין שום תמיכה בעברית. בנוסף, חלוקת הקונטקסט נשענת על היפר-קישורים בוויקיפדיה, מבנה שלא בהכרח קיים במסמכים ארגוניים רגילים כמו קובצי PDF או התכתבויות פנימיות. אם המוצר שלכם צריך לעבוד בעברית או על מידע עדכני, הנתונים האלה לא ישקפו את הביצועים בשטח.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
המאגר פורסם ללא הגדרת רישיון כלל. ללא רישיון מוגדר אסור להניח שניתן להשתמש בו לצרכים מסחריים או לאמן עליו מודלים פנימיים בחברה, ומומלץ לפנות ישירות ליוצרים ממעבדת TIGER-Lab לבירור.
האם יש במאגר תמיכה בשפה העברית?
לא. כל הנתונים מבוססים על גרסאות ויקיפדיה באנגלית בלבד. אם המטרה היא פיתוח מערכת אחזור בעברית, תצטרכו לתרגם את המאגר או לבנות מבנה דומה על בסיס ויקיפדיה העברית.
מאיפה הנתונים הגיעו ואיך הם נאספו?
היוצרים לקחו עותקים קיימים של ויקיפדיה משנים 2017 ו־2018 וסיננו דפי רשימות ופירושונים. לאחר מכן הם חיברו מסמכים שקשורים ביניהם באמצעות קישורים פנימיים לקבוצות של כ־4,000 טוקנים, ויצרו קונטקסטים ארוכים סביב השאלות המקוריות.
במה הוא שונה ממאגרי RAG רגילים של Natural Questions ו־HotpotQA?
במאגרים רגילים יחידות האחזור קטנות ומכילות פסקאות בודדות, מה שיוצר המון יחידות חיפוש. כאן חיברו מסמכים ליחידות ארוכות בהרבה, כך שההקשר שהמודל קורא מגיע לאורך של עד 30,000 טוקנים בבת אחת.
איך טוענים
המאגר מורכב מ־85 קבצים בפורמט Parquet וזמין ישירות ללא צורך באישור גישה מראש. תתי המאגרים של השאילתות מחולקים לשלוש רמות: subset_100 שנועד לבדיקות מהירות ולניפוי שגיאות, subset_1000 להערכה יציבה יותר, ו־full שמכיל את כלל הדוגמאות. השדות הקריטיים להערכה הם query שמכיל את השאלה, context שמכיל את הקונטקסט הארוך שחולץ, ו־answer שכולל את רשימת תשובות הזהב.
from datasets import load_dataset
ds = load_dataset("TIGER-Lab/LongRAG")הרישיון
היוצרים לא דיווחו על רישיון בעמוד המאגר. מבחינה מעשית זה אומר שאין לכם היתר שימוש מפורש, וכל שימוש מסחרי או שילוב שלו באימון מודל לחברה חושף אתכם לסיכון משפטי. כל עוד הסטטוס לא הובהר, הוא מתאים למחקר אקדמי בלבד ולא לפיתוח מוצרים.