search-arena-v1-7k
קוד פתוחlmarena-aiרישיון לא דווח2025-04-14
המאגר מרכז הצבעות אנושיות על תוצרי מודלים שמשלבים חיפוש ברשת. הוא נותן מעקב מלא אחרי שאילתות החיפוש וההעדפות של המשתמשים כדי לבחון מודלים מחוברים לרשת.
- 697הורדות בחודש
- 27לייקים
מה זה
הנתונים מגיעים ישירות מזירת Search Arena ונאספו בין 18 במרץ 2025 לבין 13 באפריל 2025. כל רשומה מייצגת שיחה שבה משתמש השווה בין שני מודלים שונים שביצעו חיפוש ברשת, ובחר את התשובה הטובה יותר. החוקרים עברו על המידע וניקו ממנו פרטים מזהים ומידע רגיש של המשתתפים לפני הפרסום.
בתוך כל דגימה תמצאו את שתי התשובות תחת השדות messages_a ו־messages_b, את תוצאת ההצבעה האנושית, חותמת זמן, ומטא-דאטה מקיף שכולל את עקבות החיפוש ברשת של המודלים. המידע הזה שמור תחת conv_meta ומיועד לניתוחים מבוקרים של תהליך החיפוש ואיכות התוצאות.
מתאים ל
- אימון מודלי תגמול לחיפוש
לימוד העדפות אנושיות עבור מודלים שמשלבים תוצאות חיפוש ברשת בזמן אמת.
- בנצ'מרק ליכולות אחזור
השוואת ביצועים ובדיקה איך שאילתות החיפוש של המודל משפיעות על בחירת המשתמש.
- ניתוח עקבות חיפוש
חקר האופן שבו מודלים שונים מנסחים שאילתות כדי להגיע לתשובה מדויקת.
איפה זה נופל
חלון האיסוף קצר מאוד ונמשך פחות מחודש באביב 2025, כך שהשאילתות משקפות אירועים ונושאים שהיו רלוונטיים בדיוק לאותם שבועות. הכרטיס לא מפרט אילו שפות קיימות במאגר, אבל בהתחשב באופי הפלטפורמה רוב התוכן באנגלית, ולא ידוע אם יש שם עברית בכלל. בנוסף, מדובר בהעדפות סובייקטיביות של משתמשי הארנה שלא בהכרח מייצגות דיוק עובדתי, ולכן אי אפשר להסתמך עליהן כתו תקן בלעדי לאיכות לפני שמשלבים אותן במוצר.
אותה משפחה
search-arena יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הפרומפטים פתוחים תחת CC-BY-4.0, אבל התשובות כפופות לתנאי השימוש של החברות שיצרו את המודלים. בגלל שחברות רבות אוסרות להשתמש בפלט שלהן לאימון מודלים מתחרים, שימוש מסחרי ישיר כרוך בסיכון משפטי.
האם יש במאגר שאילתות בעברית?
הכרטיס הרשמי לא מציין התפלגות שפות ולא מתחייב לקיום עברית. רוב התנועה בפלטפורמה מתנהלת באנגלית, כך שאם יש עברית מדובר כנראה בכמות זניחה.
איך הנתונים נאספו?
המידע הגיע ממשתמשים בזירת Search Arena בין מרץ לאפריל 2025. כל משתמש הזין שאילתה, קיבל שתי תשובות ממודלים שביצעו חיפוש ברשת, והצביע למי שהחזיר את התוצאה הטובה יותר.
מה ההבדל בין המאגר הזה לגרסאות Chatbot Arena הרגילות?
כאן כל דגימה כוללת את נתוני החיפוש בפועל ולא רק טקסט חופשי. השדה conv_meta שומר את עקבות החיפוש ברשת של המודלים, מה שמאפשר לחקור איך איכות האחזור השפיעה על ההחלטה של המשתמש.
איך טוענים
הקובץ המרכזי יושב בפורמט parquet תחת data/search-arena-v1-preference-7k.parquet, לצד קובץ התיעוד. אין צורך באישור גישה מיוחד כדי להוריד אותו מ־Hugging Face, ואפשר לטעון אותו ישירות באמצעות ספריית datasets של פייתון בלי שלבי עיבוד מוקדמים מסובכים.
בעבודה עם הנתונים כדאי לשים לב בעיקר לשדה conv_meta, שמרכז את כל פעולות החיפוש שהמודל הריץ, ולשדות השיחה messages_a ו־messages_b מול תוצאת ההצבעה. החוקרים גם צירפו מחברת Colab ייעודית שמדגימה צעד אחר צעד איך לשחזר את הניתוחים וטבלת המובילים.
from datasets import load_dataset
ds = load_dataset("lmarena-ai/search-arena-v1-7k")הרישיון
הרישיון כאן מפוצל ומחייב זהירות. הפרומפטים של המשתמשים שוחררו תחת CC-BY-4.0, שדורש ייחוס בלבד. מנגד, התשובות של המודלים כפופות לתנאי השימוש של ספקיות המודלים עצמן. המאגר הכולל לא מציג רישיון אחיד ברמת המטא-דאטה, ולכן אימון מודל מסחרי על התשובות עלול להפר את תנאי השימוש של אותן חברות מסחריות.