WikiRAG-TR
קוד פתוחMetinapache-2.02024-08-04
מאגר שאלות ותשובות בטורקית שנבנה במיוחד למערכות אחזור מידע. הוא מבוסס על פסקאות פתיחה מוויקיפדיה ומכיל הסחות דעת מכוונות לבדיקת עמידות המודל.
- 287הורדות בחודש
- 36לייקים
מה זה
המאגר מכיל 5,999 רשומות שמיועדות למשימות מענה על שאלות מבוססות הקשר. הבסיס מגיע מפסקאות פתיחה של ערכי ויקיפדיה בטורקית בתחומי מדעים מדויקים ומדעי החברה, שחולצו בעומק שלוש שכבות קטגוריות. טקסטים קצרים מ־50 תווים, ארוכים מ־2,500 תווים, משוואות או תוכן למבוגרים נזרקו החוצה.
השאלות והתשובות סונטזו באמצעות המודל Gemma-2-27B-it. בכל רשומה צירפו לפסקה הנכונה עוד פסקאות לא קשורות מערכים אחרים כדי לדמות רעש של מנוע חיפוש, וערבבו את הסדר שלהן. מתוך כלל המאגר, 5,725 רשומות כוללות תשובה רגילה ומבוססת, ועוד 274 דוגמאות שליליות שבהן המידע הרלוונטי הושמט בכוונה כדי לבדוק אם המודל יודע להודות שאין לו מספיק מידע.
מתאים ל
- אימון RAG בטורקית
כוונון עדין למודלים שצריכים ללמוד לשלוף תשובה מתוך פסקה רלוונטית כשיש מסביב פסקאות מטעות.
- בדיקת סירוב מודל
הערכת היכולת של מודל להגיד שאין לו מספיק מידע בעזרת 274 הדוגמאות השליליות במאגר.
- בנצ'מרק למענה על שאלות
מבחן ביצועים למערכות text2text generation בטורקית על תכנים מעולמות המדע והחברה.
איפה זה נופל
הנתונים כולם בטורקית, בלי שום עברית או אנגלית, כך שזה לא יעזור ישירות למערכת מקומית אלא אם אתם בונים פתרון רב-לשוני או לשוק הטורקי. התשובות קצרות ותמציתיות מאוד בגלל אופי ההנחיה למודל המסנטז, מה שעלול לגרור את המודל שלכם לתשובות מקוצרות מדי. המקור הוא ויקיפדיה ופסקאות בלבד, מה שאומר שההטיות ואי-הדיוקים של האנציקלופדיה נכנסו פנימה. בנוסף, יש פה סינתזה מלאה של מודל שפה, על כל ההזיות האפשריות שלו, כך שחובה לדגום ידנית לפני שמריצים הערכה רצינית.
שאלות
נפוצות
האם יש במאגר עברית?
לא. כל הנתונים, השאלות וההקשרים כתובים בטורקית בלבד, מתוך ערכי ויקיפדיה בטורקית. הוא לא מתאים למשימות בעברית אלא אם אתם מתרגמים אותו או עובדים על מודל רב-לשוני.
האם מותר להשתמש בדאטהסט הזה למוצר מסחרי?
כן, הרישיון הוא Apache 2.0 המאפשר שימוש מסחרי מלא. אתם רשאים לאמן עליו מודלים פנימיים או מסחריים בלי חובת שיתוף, כל עוד מצורף עותק מהרישיון והקרדיט הנדרש.
איך נוצרו השאלות והתשובות?
היוצר אסף פסקאות פתיחה מוויקיפדיה והריץ עליהן את המודל Gemma-2-27B-it כדי לייצר שאלות ותשובות קצרות. לאחר מכן הוסיף פסקאות לא קשורות כדי לייצר הקשר מבלבל עם דוגמאות חיוביות ושליליות.
כמה המאגר גדול והאם צריך מחשב חזק לעבוד איתו?
המאגר כולו שוקל 20.5 מגה בייט וכולל 5,999 שורות בסך הכל. מדובר בקובץ CSV יחיד שאפשר להוריד ולטעון בכל מחשב רגיל תוך שניות, בלי צורך בחומרה ייעודית.
איך טוענים
טוענים את הדאטהסט ישירות דרך ספריית datasets באמצעות הנתיב Metin/WikiRAG-TR, או פשוט מורידים את קובץ ה־CSV שנמצא בתיקיית data/train.csv. כל המאגר שוקל 20.5 מגה בייט ולא דורש הרשאות גישה או אישור מיוחד. השדות המרכזיים לעבודה הם question, answer ו־context. אם אתם רוצים לנתח ביצועי אחזור, השדות ctx_split_points ו־correct_intro_idx מסמנים בדיוק איפה מתחילה ונגמרת הפסקה הנכונה בתוך ערימת הטקסט המבולבלת, והשדה is_negative_response מסמן אם מדובר בדוגמה שלילית.
from datasets import load_dataset
ds = load_dataset("Metin/WikiRAG-TR")הרישיון
המאגר מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי מלא, שינוי והפצה. אפשר לאמן עליו מודלים חופשיים או מסחריים בלי לחשוף את הקוד שלכם, ורק צריך לתת קרדיט ולשמור על נוסח הרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים