wikiomnia

מה זה

המאגר כולו מבוסס על שלשות בפורמט SQuAD: פסקת פתיח מתוך ערך בוויקיפדיה, שאלה שנוצרה על בסיסה ותשובה שנשלפה מתוך הפסקה. כל הטקסטים נאספו מגרסת ויקיפדיה הרוסית ממרץ 2021. תהליך היצירה נשען על המודלים ruT5 large ו־ruGPT-3 XL שעברו כוונון על SberQuaD, יחד עם ruBERT מבית DeepPavlov.

הנתונים מחולקים לשני חלקים עיקריים. החלק הגולמי כולל 15,9 מיליון שלשות שנוצרו אוטומטית, מתוכן 7,930,873 זוגות עבור ruGPT-3 XL ועוד 7,991,040 עבור ruT5 large. החלק המסונן עבר בדיקה אוטומטית קפדנית יותר ומכיל מעל 160,000 זוגות עבור ruGPT-3 XL ומעל 3,400,000 עבור ruT5 large, כך שיש הבדל עצום באיכות ובגודל בין הגרסאות.

מתאים ל

• אימון מודלי חילוץ תשובות

  אימון וכיול של מודלים לחילוץ תשובות מתוך פסקאות נתונות בשפה הרוסית.

• הערכת מערכות שאלות ותשובות

  בדיקת ביצועים של מודלים קיימים מול מאגר סינתטי נרחב המבוסס על ויקיפדיה.

• סינון וטיוב נתונים סינתטיים

  מחקר על אלגוריתמים לסינון ואימות אוטומטי של שאלות שנוצרו על ידי מודלי שפה.

איפה זה נופל

כל השאלות והתשובות כאן הן פרי יצירה סינתטית של מודלי שפה, ולכן הן כוללות הזיות, שאלות שאינן הגיוניות ותשובות שגויות, במיוחד בחלק הגולמי. בנוסף, המאגר מוגבל לשפה הרוסית בלבד ואינו כולל שפות אחרות. הנתונים מייצגים את ויקיפדיה נכון למרץ 2021, כך שאירועים, מושגים וערכים שנכתבו או עודכנו מאז אינם מופיעים כאן. לפני שמכניסים את החומר למודל בייצור, חובה לסנן אותו באופן עצמאי.

איך טוענים

הקבצים שמורים בפורמט JSON ומחולקים לחבילות לפי סוג המודל ורמת הסינון, כמו wikiomnia_ruGPT_3_filtered או קובצי raw המחולקים לעשרות מקטעים. המאגר ציבורי ופתוח להורדה ישירה ללא צורך באישור גישה. במבנה הנתונים תמצאו שדות עבור טקסט הפסקה המקורית, השאלה והתשובה, לצד טוקנים מיוחדים שהוגדרו מראש.

from datasets import load_dataset

ds = load_dataset("RussianNLP/wikiomnia")

הרישיון

המאגר מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, מחקרי, שינוי והפצה של הנתונים והמודלים שתאמנו עליהם. התנאי העיקרי הוא מתן ייחוס מתאים ושמירה על תנאי הרישיון המקוריים בקבצים, ללא דרישה לשתף את תוצרי הפיתוח שלכם תחת אותו רישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗