germanrag
קוד פתוחDiscoResearchcc-by-4.02024-01-24
המאגר מספק דוגמאות בגרמנית לאימון מודלים של RAG עם תשובות מנוסחות במלואן. הוא כולל תרחישים שבהם המידע לא קיים בהקשרים כדי ללמד את המודל לסרב לענות.
- 77הורדות בחודש
- 28לייקים
מה זה
הנתונים מבוססים על הדאטהסט GermanDPR, אבל במקום קטעי טקסט קצרים לחילוץ תשובה, יש כאן תשובות מנוסחות ומלאות בגרמנית. היוצרים ביצעו ניקוי כפילויות של ההקשרים המקוריים והגיעו ל־2243 הקשרים ייחודיים. כדי לחקות תוצאות שליפה מהחיים האמיתיים, כמות ההקשרים משתנה מדוגמה לדוגמה ולא נשארת קבועה.
המבנה מחולק למקרים עם תשובה ולמקרים בלעדיה. ישנן 562 דוגמאות עם הקשר חיובי אחד ללא שליליים, 562 עם חיובי אחד ושלילי אחד, 561 עם חיובי אחד ושני שליליים, ו־558 עם חיובי אחד ושלושה שליליים. בשליש האחרון אין הקשר חיובי בכלל: 375 דוגמאות מגיעות עם הקשר שלילי אחד, 373 עם שניים, ו־371 עם שלושה שליליים, כדי לוודא שהמודל יודע להתמודד עם היעדר מידע.
מתאים ל
- אימון RAG בגרמנית
פיין-טיונינג למודלים שאמורים לשלוף מידע ולענות בגרמנית על סמך הקשרים נתונים.
- לימוד איפוק והודעה על חוסר
אימון מודל לענות שאין לו מספיק מידע כשההקשרים השליליים לא מכילים את התשובה.
- הערכת עמידות להקשרים מטעים
בדיקת היכולת של מודלים להתעלם מקטעי טקסט שליליים קשים שמסיחים את הדעת.
איפה זה נופל
הדאטהסט מוגבל לשפה הגרמנית בלבד, כך שהוא לא יעזור למי שמחפש מידע בעברית או באנגלית. היוצרים מציינים במפורש בעיה מוכרת: במקרים נדירים, הקשרים שהוגדרו כשליליים קשים עדיין מכילים בטעות מספיק מידע כדי לענות על השאלה. כדי לצמצם את זה בשליש האחרון של הנתונים, הם הצמידו להקשרים השליליים שאלות אקראיות שנבחרו ללא החזרה. מעבר לכך, לא מדובר באוסף ענק של נתונים, ויש בו רק כמה אלפי דוגמאות.
שאלות
נפוצות
האם יש במאגר נתונים בעברית?
לא. כל הנתונים, השאלות וההקשרים כתובים בגרמנית בלבד. אם המוצר שלכם פונה לקהל ישראלי בשפה המקומית, הדאטהסט הזה לא מתאים.
האם מותר להשתמש בו לפרויקט מסחרי?
זה מורכב בגלל אי התאמה בהגדרות. המטא-דאטה מציין רישיון cc-by-4.0 שמתיר שימוש מסחרי, אבל הטקסט עצמו קובע שהרישיון הוא CC BY-SA 4.0 בגלל המקור שממנו נגזר. המשמעות היא שכל שינוי או נגזרת שתפיצו חייבים להיות תחת אותו רישיון שיתופי בדיוק.
איך המאגר הזה שונה מ־GermanDPR המקורי?
הוא משדרג את המקור בכך שהוא נותן תשובות שלמות ומנוסחות במקום מקטעי טקסט גולמיים לחילוץ. בנוסף, הוא מגוון את כמות ההקשרים לכל שאלה ומוסיף חלק שבו אין תשובה בכלל כדי לחקות מציאות.
איך טוענים
הקובץ המרכזי שמכיל את המידע הוא germanrag.jsonl, לצד קובץ התיעוד README.md. הגישה למאגר פתוחה לחלוטין ואינה דורשת בקשת אישור מוקדמת. בתוך הרשומות תמצאו רשימה בשם contexts שמכילה קטעי טקסט מעורבבים, ואת השדה positive_ctx_idx שמציין את המיקום של ההקשר הנכון. אם הערך שם הוא 1-, מדובר בדוגמה ללא הקשר מתאים, והתשובה המוצמדת לה היא משפט קבוע בגרמנית שאומר שאי אפשר לענות לפי המידע הקיים.
from datasets import load_dataset
ds = load_dataset("DiscoResearch/germanrag")הרישיון
יש כאן סתירה שחשוב לבדוק לפני שרצים קדימה. המטא-דאטה בעמוד מציג רישיון מסוג cc-by-4.0 שמאפשר שימוש מסחרי בכפוף למתן קרדיט. מנגד, גוף הטקסט מסביר שהעבודה נגזרת ממאגר קודם שמחזיק ברישיון CC BY-SA 4.0, ולכן היא יורשת את אותו רישיון. המשמעות של סעיף השיתוף הזהה היא שכל עבודה נגזרת או מודל שתפיצו יחויבו באותו רישיון שיתופי.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס