webfaq
קוד פתוחPaDaS-Labcc-by-4.02025-02-06
עשרות מיליוני זוגות של שאלות ותשובות שנאספו מעמודי שאלות נפוצות ברחבי הרשת בעשרות שפות. הוא נותן בסיס נרחב לאימון מודלי שיחה ואחזור מידע ישירות מתוכן שנכתב עבור בני אדם.
- 1,191הורדות בחודש
- 24לייקים
מה זה
המאגר מחולק לפי קונפיגורציות שפה נפרדות וכולל עשרות שפות, מאנגלית וספרדית בהיקפים של מיליוני דוגמאות ועד שפות עם כמה אלפי רשומות בלבד. כל רשומה כוללת מזהה ייחודי, כתובת מקור ברשת, את השאלה ואת התשובה עצמה. בחלק ניכר מהשפות נוספו גם תיוגים של נושא וסוג השאלה, אך בשפות הקטנות יותר השדות האלה לא קיימים.
התוכן מייצג שאלות ותשובות מאתרי אינטרנט שונים, כך שהמבנה משקף ניסוחים אמיתיים של עמודי שירות, מוצר או הדרכה. המפרסמים לא פירטו בכרטיס את שיטות הסינון, הניקוי או סילוק הכפילויות שהופעלו על הדאטה, כך שרמת הדיוק והאיכות של הטקסט תלויה במקור שממנו הוא נשלף.
מתאים ל
- אימון מודלי שיחה
לימוד מענה ישיר לשאלות משתמשים על בסיס מבנה שאלות ותשובות טבעי.
- מערכות אחזור מידע
אימון מודלי חיפוש ו־RAG להתאמת שאילתת משתמש לתשובה הנכונה ביותר.
- בדיקת יכולות בעברית
הערכת ביצועי מודלים במשימות שאלות ותשובות על מאגר ישראלי רחב.
איפה זה נופל
האיכות כאן אינה מובטחת ברמת פיקוח אנושי הדוק, והכרטיס אינו מפרט תהליכי בקרה או בדיקת עובדות. מאחר שהנתונים נאספו מאתרי אינטרנט, המאגר עשוי להכיל תוכן שיווקי, תשובות לא מדויקות, מידע מיושן וספאם. בנוסף יש פער אדיר בעומק השדות בין השפות. שפות רבות קיבלו רק טקסט גולמי ללא חלוקה לנושאים או סוג שאלה, מה שמקשה על סינון ממוקד לפני האימון.
שאלות
נפוצות
האם יש במאגר נתונים בעברית ובאיזה היקף?
כן, יש קונפיגורציה ייעודית לעברית תחת השם heb. היא כוללת 391,084 רשומות בנפח של כחצי ג'יגהבייט, כולל תיוגים של נושא וסוג השאלה.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
רישיון cc-by-4.0 מתיר שימוש מסחרי מלא כל עוד אתם מייחסים את הקרדיט ל־PaDaS-Lab. עם זאת, התוכן נאסף מאתרים פתוחים ברשת ולכן כדאי לוודא שהטקסטים עצמם אינם מכילים הפרות זכויות או מידע מוגן.
האם חובה להוריד את כל הדאטה בבת אחת?
לא. המאגר בנוי בקונפיגורציות נפרדות לכל שפה, כך שניתן לטעון שפה אחת בלבד בלי להוריד עשרות מיליוני רשומות בשפות שאינן נחוצות לכם.
האם המאגר מכיל חלוקה מוכנה לסט אימון ומבחן?
לא, כל שפה כוללת רק חלוקה אחת בשם default. עליכם לפצל את הנתונים באופן עצמאי לסט אימון, ולידציה ובדיקה.
איך טוענים
טוענים את המאגר ישירות בספריית datasets של Hugging Face תוך ציון השפה הרצויה בקונפיגורציה. אין צורך באישור גישה או בהרשמה מוקדמת כדי להוריד. הנתונים שמורים בקובצי jsonl לפי שפות, כך שלא צריך להוריד את כל עשרות הג'יגהבייטים של המאגר בבת אחת אלא אפשר למשוך רק את השפה הרלוונטית. השדות המרכזיים לעבודה הם question ו־answer, כאשר שדות ה־topic וה־question_type שימושיים לסינון רק בחלק מהשפות.
from datasets import load_dataset
ds = load_dataset("PaDaS-Lab/webfaq")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. מותר להשתמש בו לצרכים מחקריים ומסחריים, לשנות אותו ולבנות עליו מוצרים, בתנאי שנותנים קרדיט מתאים ליוצרים. אין כאן דרישה לשיתוף באותו רישיון עבור המודל שאימנתם עליו, אך צריך לקחת בחשבון שזכויות היוצרים על התוכן המקורי בעמודי הרשת עשויות להיות כפופות לתנאים נפרדים של האתרים מהם הוא נאסף.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס