mfaq
קוד פתוחclipscc0-1.02022-03-02
המאגר מרכז מעל שישה מיליון זוגות שאלות ותשובות מאתרי אינטרנט ב־21 שפות שונות. מי שמאמן מודלים למענה על שאלות או מאחזר מידע רב-לשוני ימצא כאן שאלות טבעיות שנכתבו ישירות לרשת.
- 1,771הורדות בחודש
- 37לייקים
מה זה
הנתונים נאספו מתוך קובצי WARC של ארכיון Common Crawl. החוקרים סרקו את קוד ה־HTML של עמודי רשת, איתרו תגיות מבנה מסוג FAQPage, ושלפו מהן את זוגות השאלות והתשובות מתוך אלמנטים של FAQItem. סך הכל ישנם 6,346,693 זוגות שנאספו מתוך 1,035,649 עמודים. אנגלית היא השפה הדומיננטית ביותר עם 3,719,484 זוגות, אחריה גרמנית עם 829,098 זוגות וספרדית עם 482,818 זוגות.
המבנה הבסיסי מאורגן לפי עמודים ומחולק לקובצי JSONL של train ו־valid. בכל רשומה מקבלים את מזהה העמוד, השפה, כמות הזוגות, כתובת הדומיין שממנו התוכן הגיע, ומערך פנימי שמכיל את השאלות והתשובות המקוריות.
מתאים ל
- אימון מאחזרי מידע
התאמת מודלים למציאת תשובה מתאימה לשאלה מתוך מאגר שאלות ותשובות קיים.
- כיול מודלי שפה למענה
כוונון עדין של מודלי שפה על שאלות ותשובות במגוון רחב של שפות.
- מבחני ביצועים בשפות שונות
בדיקת יכולת המענה של מודלים מול זוגות שאלות ותשובות שחולצו מדפי רשת.
איפה זה נופל
היוצרים עצמם מפנים בראש העמוד למאגרים מעודכנים יותר, MQA או MFAQ Light, מה שמעיד על כך שהגרסה הזו התיישנה. בנוסף, האיסוף התבסס באופן עיוור על תגיות מבנה של אתרים בלי סינון איכות ידני, כך שתוכן שיווקי, ספאם וטעויות קידוד נכנסו פנימה. העברית דלה מאוד ומכילה 11,212 זוגות בלבד מתוך 1,921 עמודים, שזה חלק זעיר מהסך הכולל, ולא מספיק לאימון של מודל עברי מאפס.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
רישיון העיבוד הוא cc0-1.0 ומאפשר זאת, אך החוקרים מבהירים שאינם בעלי הטקסטים שנאספו. השימוש המסחרי תלוי בשאלת השימוש ההוגן בתוכן שנסרק מאתרי אינטרנט.
האם יש במאגר תוכן בעברית?
כן, יש תמיכה בעברית תחת המפתח he. החלק הזה קטן ביחס לשפות הראשיות וכולל 11,212 זוגות של שאלות ותשובות שנאספו מ־1,921 עמודים בלבד.
איך המידע חולץ מהרשת?
החוקרים סרקו קובצי WARC של ארכיון Common Crawl וחיפשו תגיות HTML מסוג FAQPage. מתוך התגיות הללו נשלפו ישירות השאלות והתשובות שהוגדרו כ־FAQItem.
האם יש גרסאות מומלצות יותר של הדאטהסט?
כרטיס המאגר מציין במפורש שקיימות גרסאות עדכניות יותר. מומלץ לבדוק את MQA או את mfaq_light לפני שמתחילים לעבוד עם הגרסה הזו.
איך טוענים
טוענים את המידע ישירות בספריית datasets עם הפקודה load_dataset, כאשר חובה להגדיר תצורת שפה כמו en או he. אפשר לטעון גם את הגרסה השטוחה על ידי הוספת הסיומת flat לשם השפה, למשל en_flat, כדי לקבל רשומה נפרדת לכל זוג. הגישה חופשית לגמרי ואין צורך באישור מיוחד. המאגר כולל 47 קבצים ומאפשר להוריד רק את השפה הרלוונטית בלי למשוך את שאר המאגר.
from datasets import load_dataset
ds = load_dataset("clips/mfaq")הרישיון
האריזה והעיבוד של הדאטהסט משוחררים תחת רישיון cc0-1.0 לרשות הציבור, ללא דרישת ייחוס ומותרים לשימוש מסחרי. עם זאת, החוקרים מצהירים מפורשות שאינם הבעלים של הטקסטים שנשאבו מהאתרים. המשמעות היא שזכויות היוצרים על התוכן עצמו שייכות לאתרים המקוריים שנסרקו, ומי שמאמן מודל מסחרי לוקח על עצמו את הסיכון המשפטי הכרוך בשימוש במידע שנאסף מרחבי הרשת.