germanquad
קוד פתוחdeepsetcc-by-4.02022-03-02
המאגר כולל 13,722 שאלות ותשובות בגרמנית עם תיוג אנושי שמבוסס על פסקאות מוויקיפדיה. הוא נבנה במיוחד כדי לאמן ולהעריך מודלים לשליפת מידע ומענה על שאלות בשפה שאינה אנגלית.
- 880הורדות בחודש
- 43לייקים
מה זה
בסיס הנתונים מורכב מקטעי טקסט שמקורם בוויקיפדיה הגרמנית, כשכל פסקה לקוחה מערך נפרד לחלוטין. הרשומות מציגות מזהה ייחודי, פסקת מקור, שאלה, ואת התשובה המדויקת שחולצה מתוך הטקסט יחד עם מיקום התו שבו היא מתחילה. השאלות נוסחו כך שיהיו עצמאיות ויכילו את כל ההקשר הדרוש, כולל שאלות מורכבות שלא מסתכמות במילה בודדת או בישות אחת.
החלוקה הפנימית מפרידה לחלוטין בין שלב האימון למבחן בלי חפיפה בין המקורות. חלק האימון מכיל 2,540 פסקאות, 11,518 שאלות ותיוג יחיד לכל תשובה. סט הבדיקה כולל 474 פסקאות ו־2,204 שאלות, אך שם כל שאלה קיבלה תיוג משולש של שלוש תשובות שונות, מה שמביא אותו לסך של 6,536 תשובות ומאפשר הערכה אמינה ומדויקת יותר.
מתאים ל
- אימון מודלי QA בגרמנית
כוונון עדין של מודלי שפה למשימות חילוץ תשובות ישירות מתוך טקסט מקור בשפה הגרמנית.
- בנצ'מרק למערכות RAG
בדיקת ביצועים אמינה של מנועי חיפוש ושליפת פסקאות מול סט המבחן המתויג משולשת.
- מערכות אחזור מידע פנים ארגוניות
אימון מודלים להבנת שאילתות מורכבות עצמאיות לצורך איתור קטעי מידע במסמכים.
איפה זה נופל
הנתונים כולם בגרמנית בלבד, כך שאין כאן שום תמיכה בעברית או בשפות אחרות. כל הטקסטים מגיעים מוויקיפדיה, מה שאומר שהשפה אנציקלופדית, ערוכה ורשמית מאוד, ולא מייצגת שיחות יומיומיות, שפת רחוב או שאילתות חיפוש טיפוסיות של משתמשי קצה. מעבר לזה, המאגר פורסם בתחילת 2022 והוא מוגבל למשימות חילוץ מידע מתוך פסקה נתונה, בלי דוגמאות לשאלות שאין עליהן תשובה בטקסט.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון cc-by-4.0 מתיר שימוש מסחרי מלא, כולל אימון מודלים ומכירת שירותים שמבוססים עליהם. התנאי היחיד הוא מתן קרדיט ליוצרים המקוריים בהתאם להנחיות הרישיון.
האם יש במאגר נתונים בעברית?
לא. כל הנתונים, השאלות ופסקאות המקור נאספו ונכתבו בגרמנית בלבד. אם המטרה היא עבודה בעברית, המאגר הזה לא יתאים בלי תרגום או התאמה חיצונית.
במה הוא שונה מגרסאות מתורגמות של SQuAD?
בניגוד לפרויקטים שתרגמו את SQuAD באופן אוטומטי, כאן מדובר בתיוג אנושי מקורי שנכתב בגרמנית על גבי ויקיפדיה המקומית. בנוסף, השאלות נבנו כך שיכילו את כל ההקשר בעצמן ולא יסתמכו רק על רמזים מקומיים מהפסקה.
כמה מקום המאגר תופס בדיסק?
המאגר קטן מאוד וכולל בסך הכל כ־13,722 שאלות וכמה אלפי פסקאות טקסט. קובצי הנתונים שוקלים מגה-בייטים בודדים, כך שההורדה והטעינה שלו בזיכרון מיידיות ולא דורשות משאבי אחסון מיוחדים.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה deepset/germanquad, ללא צורך בבקשת גישה מיוחדת או באישור ידני. המאגר עצמו קל מאוד וכולל קובץ סקריפט בודד ומטא-דאטה, כך שההורדה מסתיימת תוך שניות. בזמן העיבוד צריך לשים לב למבנה של שדה התשובות, שמחזיר מילון עם רשימת הטקסטים והמיקומים שלהם במחרוזת, במיוחד בסט הבדיקה שמחזיק כמה חלופות לאותה שאלה.
from datasets import load_dataset
ds = load_dataset("deepset/germanquad")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. המשמעות פשוטה: מותר להשתמש בו לצרכים פנימיים, מחקריים ומסחריים, וגם לאמן עליו מודלים שמיועדים למוצר בתשלום. הדרישה היחידה היא לתת קרדיט ברור ליוצרים המקוריים מ־deepset ולציין את הרישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס