auto-wiki-qa
קוד פתוחcl-nagoyacc-by-sa-4.02024-03-28
מאגר שאלות ותשובות סינתטי ביפנית שנבנה מתוך ויקיפדיה באמצעות מודל שפה. הוא מיועד למי שמאמן מודלים לשליפה או מענה לשאלות וצריך נפח גדול בלי תבניות קבועות.
- 260הורדות בחודש
- 24לייקים
מה זה
המאגר מבוסס על ערכים מתוך ויקיפדיה ביפנית מדאמפ של תחילת 2024. החוקרים לקחו פסקאות מכל ערך, חיברו אותן והזינו למודל השפה Swallow MX יחד עם שתי דוגמאות בשיטת Few shot. המודל רץ עם Beam search כדי לייצר שאלה ותשובה ישירות מתוך הטקסט, בלי תבניות קבועות מראש.
הסינון כלל הסרה של דפי פירושונים ורשימות, מחיקת טקסטים קצרים מדי, ופסילה של שאלות שלקו בבעיות פורמט, הועתקו ישירות מהטקסט או היו קצרות בצורה לא הגיונית. כל רשומה כוללת את השאלה, התשובה, הפסקה המקורית שממנה הופק המידע, מזהה הפסקה, כותרת הערך והקישור הישיר אליו בוויקיפדיה לצורך בדיקת עובדות.
כל הנתונים מרוכזים בחלק אימון יחיד המונה 2,377,503 רשומות, ללא חלוקה מובנית לסט בדיקה או תיקוף.
מתאים ל
- אימון מודלי RAG ביפנית
שימוש בפסקאות ובשאלות כדי לאמן מודלים של שליפה ודירוג מסמכים ביפנית.
- כוונון מודלים למענה לשאלות
אימון מודלי שפה על מענה קצר וממוקד מתוך טקסט נתון ללא תבניות חזרתיות.
- בניית מודלי שיקוע וחיפוש
התאמת מודלי חיפוש סמנטי על בסיס צמדי שאילתה וטקסט מקור בקנה מידה רחב.
איפה זה נופל
כל התוכן מיוצר על ידי מכונה ויש בו כשלים מובנים. לעיתים התשובות קשות מדי, עמומות, או שאינן חד משמעיות מתוך הטקסט לבדו. המאגר מוגבל אך ורק לשפה היפנית, ואין בו שום תוכן בעברית או באנגלית. בנוסף, בסיס הידע מוגבל למידע שהיה קיים בוויקיפדיה עד 1 בינואר 2024, כך שאין כיסוי לאירועים מאוחרים יותר. אם אתם בונים מערכת מדויקת, תצטרכו להריץ סינון נוסף על התשובות.
שאלות
נפוצות
האם המאגר מתאים לשימוש מסחרי?
כן. הרישיון הוא cc-by-sa-4.0 ויוצרי המאגר מציינים במפורש שמותר להשתמש בו לצרכים מסחריים ומחקריים כאחד, כל עוד מעניקים ייחוס ומשתפים שינויים ברישיון זהה.
האם יש בדאטהסט מידע בעברית?
לא. הדאטהסט כולו בנוי על ויקיפדיה ביפנית ומכיל טקסטים, שאלות ותשובות ביפנית בלבד. אין בו שום ייצוג לשפות אחרות.
איך השאלות והתשובות נוצרו?
הן הופקו אוטומטית על ידי מודל השפה Swallow MX מתוך פסקאות ויקיפדיה באמצעות vLLM, בשיטת Few shot וללא כוונון עדין של המודל. לאחר מכן הופעל סינון מבוסס חוקים כדי לנפות שאלות קצרות, ארוכות או משובשות.
כמה רשומות יש במאגר ואיך הוא מחולק?
המאגר כולל 2,377,503 רשומות המחולקות על פני ארבעה קובצי parquet. כולן שייכות לחלק האימון, כך שתצטרכו לפצל בעצמכם חלק לבדיקה ולהערכה.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה cl-nagoya/auto-wiki-qa עם ציון split שווה train. המאגר פתוח לציבור ואינו דורש אישור גישה מיוחד. הקבצים מאוחסנים בארבעה קובצי parquet, כך שהטעינה יעילה. השדות העיקריים לעבודה הם text עבור הפסקה, וכן query ו־answer עבור צמד השאלה והתשובה. שדות ה־title וה־url שימושיים בעיקר אם תרצו לתחם את השאלה לפי נושא או להצליב מקורות.
from datasets import load_dataset
ds = load_dataset("cl-nagoya/auto-wiki-qa")הרישיון
הרישיון הוא cc-by-sa-4.0. מותר להשתמש במאגר למחקר וגם לפרויקטים מסחריים, אך חובה לתת קרדיט ליוצרים. המשמעות של ShareAlike היא שאם אתם משנים את הדאטהסט או מפיצים גרסה מעובדת שלו, אתם מחויבים לפרסם אותה תחת אותו רישיון בדיוק. לגבי אימון מודל, אין מניעה מסחרית, אך כדאי לבדוק את ההשלכות המשפטיות של שיתוף משקולות המודל.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון