geo-bench
קוד פתוחGEO-Optimcc-by-sa-4.02023-10-30
עשרת אלפים שאילתות חיפוש מתויגות להערכת מנועי חיפוש מבוססי בינה מלאכותית. מאגר שמיועד לבחון איך תוכן אתרים מגיב לאופטימיזציה מול מנועים גנרטיביים.
- 381הורדות בחודש
- 26לייקים
מה זה
המאגר כולל עשרת אלפים שאילתות שמחולקות לשמונת אלפים רשומות אימון, אלף רשומות ולידציה ואלף רשומות מבחן. השאילתות מגיעות מתשעה מקורות שונים, שמשלבים שאילתות משתמשים אמיתיות מבינג וגוגל דרך מאגרי נתונים כמו MS Marco, ORCAS ו־Natural Questions, יחד עם שאלות חיבור מאוניברסיטת אוקספורד, שאלות מ־LIMA, דיבייט מ־Davinci, שאלות מ־Perplexity.ai Discover, שאלות מרדיט ELI5 ושאילתות סינתטיות שנוצרו באמצעות GPT-4 כדי להרחיב את המגוון הנושאי.
לצד השאילתות, כל רשומה כוללת חמש תוצאות חיפוש נקיות של דפי HTML שנלקחו מתוצאות מובילות בגוגל. כל שאילתה מתויגת לפי שבע קטגוריות שונות, בהן רמת קושי, אופי השאילתה, ז'אנר, נושא ספציפי, רגישות המידע, כוונת המשתמש וסוג התשובה המבוקשת. התיוג עצמו בוצע באמצעות מודל GPT-4, כאשר היוצרים בדקו מדגמית את הדיוק שלו כדי לוודא התאמה סבירה.
מתאים ל
- מדידת ביצועי GEO לאתרים
בדיקת השפעת שינויים במבנה אתר על הופעתו בתשובות של מנועי חיפוש גנרטיביים.
- בנצ'מרק למנועי חיפוש חכמים
הערכת היכולת של מודל שפה לספק מענה מדויק על פני סוגי שאילתות ורמות קושי שונות.
- בדיקת איכות סיכום תוצאות
בחינת יכולת של מודל לאחזר מידע מתוך חמשת דפי הרשת המצורפים לכל שאילתה.
איפה זה נופל
התיוג של השאילתות נעשה כולו באופן אוטומטי על ידי GPT-4, והיוצרים מציינים במפורש שהתיוגים כוללים רעש ולא מומלץ להסתמך עליהם כבסיס בלעדי לסינון. בנוסף, כל הנתונים באנגלית בלבד ואין במאגר תמיכה בעברית או בשפות אחרות. חלק מהשאילתות מבוססות על טרנדים מ־Perplexity או על תוצאות גוגל ממועד יצירת המאגר בסוף 2023, כך שתוצאות החיפוש המצורפות עשויות להתיישן ביחס לרשת החיה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
זה בעייתי וכדאי להיזהר. במטא-דאטה מופיע רישיון CC BY-SA 4.0 שמתיר שימוש מסחרי, אך גוף התיעוד מציין CC BY-NC-SA 4.0 שאוסר מפורשות על מסחור. מעבר לכך, חובת השיתוף הזהה בשני הרישיונות דורשת לשחרר עבודות נגזרות באותו אופן.
האם המאגר מכיל נתונים בעברית?
לא, המאגר מוגדר וכולל שאילתות באנגלית בלבד. השאילתות נאספו ממקורות כמו גוגל, בינג, רדיט ומאגרים אקדמיים באנגלית. כדי להשתמש בו בהקשר ישראלי תצטרכו לתרגם את השאילתות או לדגום נתונים מקומיים.
מאיפה הגיעו השאילתות שבמאגר?
המאגר מאחד שאילתות מתשעה מקורות שונים. הוא משלב שאילתות משתמשים אמיתיות מבינג וגוגל, שאלות מורכבות מרדיט ואוניברסיטת אוקספורד, שאלות טרנדיות מ־Perplexity, לצד שאלות שנוצרו בצורה סינתטית באמצעות GPT-4.
מה מייחד אותו בהשוואה למאגרי שאילתות רגילים כמו MS Marco?
בניגוד למאגרי חיפוש מסורתיים, הוא מותאם במיוחד למנועים גנרטיביים וכולל שבעה ממדי תיוג לכל שאילתה. בנוסף, הוא מצרף חמישה דפי HTML נקיים מתוצאות החיפוש המובילות של גוגל עבור כל שאילתה, כדי לאפשר מחקר על אופטימיזציית תוכן.
איך טוענים
טוענים את הנתונים ישירות בפייתון בעזרת שורת קוד בודדת בספריית datasets עם הנתיב GEO-optim/geo-bench. אין צורך לבקש אישור גישה מראש כי המאגר פתוח להורדה מיידית.
הקבצים במאגר מגיעים בפורמט JSONL, ומחולקים לקובצי train, val ו־test. כל שורת מידע מכילה את השאילתה בטקסט, מערך תגיות סיווג ומקורות המידע. כדאי לשים לב שבנוסף לשאילתות עצמן ישנם נתוני דפי ה־HTML המנוקים, כך שהמשקל הכולל של הנתונים גדול משמעותית מסתם קובץ טקסט של שאילתות בודדות.
from datasets import load_dataset
ds = load_dataset("GEO-Optim/geo-bench")הרישיון
יש סתירה בין דף המאגר שמצהיר על רישיון CC BY-SA 4.0 לבין הטקסט בכרטיס שנוקב ברישיון CC BY-NC-SA 4.0. אם המגבלה הלא מסחרית תקפה, אסור להשתמש בנתונים למוצר מסחרי. בכל מקרה, תנאי השיתוף הזהה מחייב שכל נגזרת או שיתוף של הנתונים יופצו תחת אותו רישיון בדיוק ועם ייחוס למחברים, מה שמגביל מאוד אימון מודלים סגורים.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון