search-arena-24k
קוד פתוחlmarena-aiרישיון לא דווח2025-05-15
שיחות אמיתיות של משתמשים עם מודלי שפה שמחוברים לחיפוש רשת, כולל הצבעות העדפה אנושיות. זה מאגר שמיועד למי שחוקר איך אנשים מתנהגים מול מודלים שמחזירים תוצאות אונליין ולא רק מייצרים טקסט.
- 463הורדות בחודש
- 40לייקים
מה זה
המאגר מכיל 24,069 שיחות מרובות שלבים שנאספו בזמן אמת מתוך Search Arena בין 18 במרץ ל־8 במאי 2025. השיחות מגיעות מכ־11,000 משתמשים ב־136 מדינות, ומכסות כ־90 שפות שונות ו־13 מודלים פומביים. כחצי מהרשומות, 12,652 שיחות, כוללות גם הצבעת העדפה אנושית שהשוותה בין שני מודלים שונים בצורה עיוורת.
כל שורה מייצגת אינטראקציה שבה שני מודלים ענו לאותה פנייה. הרשומה כוללת את שתי התשובות, חותמת זמן, מטא-דאטה מלא של המערכת, עקבות החיפוש ברשת וריצת המודל, ותיוגים שנוספו בעיבוד מאוחר כמו שפה וכוונת המשתמש. הנתונים סוננו באמצעות הכלי של גוגל להגנה מפני דליפת מידע כדי להסיר פרטים מזהים ומידע רגיש.
מתאים ל
- אימון מודלי תגמול לחיפוש
שימוש ב־12,652 הצבעות אנושיות כדי לאמן מודלים שמעריכים איכות של תשובות מבוססות חיפוש רשת.
- ניתוח התנהגות שאילתות
בדיקת האופן שבו אנשים מנסחים שאלות כשהם יודעים שהמודל ניגש לרשת בזמן אמת, לפי כוונות המשתמש.
- הערכת עקבות אחזור מידע
בחינת נתוני ה־trace כדי להבין אילו תוצאות חיפוש הובילו לתשובות שמשתמשים העדיפו על פני אחרות.
איפה זה נופל
חלון האיסוף קצר מאוד ונמשך פחות מחודשיים בתחילת 2025, כך שתוצאות החיפוש והמידע משקפים רק את התקופה הזו. בנוסף, הצבעות העדפה אנושית קיימות רק בכמחצית מהשיחות. למרות שיש ייצוג לכ־90 שפות, 11% בלבד מהפניות הן רב-לשוניות, כך שרוב הנפח עדיין נשען על שפות עיקריות וכדאי לבדוק את כמות הפניות בעברית לפני שמסתמכים עליו לאימון מקומי.
אותה משפחה
search-arena יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מודל מסחרי?
זה מורכב ולא חד משמעי. שאלות המשתמשים מוגנות ברישיון CC-BY-4.0 שמאפשר שימוש מסחרי, אבל תשובות המודלים כפופות לתנאי הרישוי של 13 החברות שבנו אותם. המאגר עצמו מוגדר ללא רישיון רשמי מוצהר, ולכן לא מומלץ לאמן עליו מוצר מסחרי בלי בדיקה משפטית.
האם יש בדאטהסט נתונים בעברית?
המאגר כולל שיחות בכ־90 שפות שונות שנאספו מ־136 מדינות, כולל 11% פניות רב-לשוניות. סביר שיש בו מעט עברית, אך הכרטיס אינו מפרט את החלוקה המדויקת לפי שפה. תצטרכו לפלטר את שדה השפה המתוייג כדי לראות כמה רשומות רלוונטיות קיימות בפועל.
איך נאספו הנתונים האלה?
הנתונים הגיעו ממשתמשים אמיתיים שנכנסו ל־Search Arena בין מרץ למאי 2025. המשתמשים הזינו שאלות, קיבלו שתי תשובות משני מודלים אנונימיים שביצעו חיפוש ברשת, ובחלק מהמקרים בחרו את התשובה הטובה יותר. המערכת ניקתה פרטים מזהים בעזרת כלי ה־DLP של גוגל לפני הפרסום.
מה מייחד אותו ממאגרי שיחות רגילים של LMSYS?
ההבדל המרכזי הוא החיבור לרשת בזמן אמת. המאגר כולל לא רק את הטקסט הסופי של התשובה, אלא גם את עקבות החיפוש שהמודל ביצע והמטא-דאטה של המערכת. זה מאפשר לנתח איך מודלים משלבים תוצאות חיפוש חיצוניות בתוך שיחה מרובת שלבים.
איך טוענים
טוענים את קובץ ה־Parquet שנמצא תחת data/search-arena-chat-24k.parquet בעזרת ספריית datasets או pandas. אין צורך באישור גישה מיוחד כדי להוריד אותו. השדות המרכזיים שתרצו לבדוק בפנים הם הודעות המודלים a ו־b, תוצאת ההצבעה האנושית, ושדות ה־trace שמראים מה בדיוק עלה בחיפוש הרשת בזמן אמת.
from datasets import load_dataset
ds = load_dataset("lmarena-ai/search-arena-24k")הרישיון
הרישיון מפוצל ומייצר בעיה משפטית. הפניות של המשתמשים מפורסמות תחת CC-BY-4.0 שמתיר שימוש מסחרי עם מתן קרדיט, אבל התשובות של המודלים כפופות לתנאי השימוש של 13 הספקים השונים שייצרו אותן. במאגר עצמו הרישיון הכללי מסומן כלא מדווח. שימוש בפלטים האלה לאימון מודל מסחרי דורש בדיקה מול תנאי השימוש של כל ספק מודל בנפרד.