LMEB
קוד פתוחKaLM-Embeddingmit2026-03-11
מאגר מקיף של משימות אחזור טקסט שמתמקד בזיכרון ארוך טווח לסוכנים ומודלי שפה. הוא מאחד עשרות תרחישים מורכבים כמו דיאלוגים מרובי מפגשים והסקה בזמן.
- 1,240הורדות בחודש
- 29לייקים
מה זה
המאגר מרכז סדר גודל של בין מאה אלף למיליון רשומות, ומחולק לשלוש קטגוריות ראשיות: Dialogue, Episodic ו־Procedural. בפנים יש פיצול לספריות מבחן שונות כמו ConvoMem, LoCoMo, MemBench, EPBench, KnowMeBench, Gorilla ו־MemGovern. כל מבחן כזה בנוי בצורה מסודרת של קובצי שאילתות, מאגרי טקסט לאחזור, מועמדים, וקובצי שיוך רלוונטיות.
התרחישים בודקים בעיות שליפה קשות שלא קיימות בבנצ'מרקים רגילים. תמצאו פה שאלות שדורשות חיבור מידע מכמה שיחות שונות, עדכון ידע בזמן אמת, זיהוי העדפות משתמש, ואימות מול מאגרי קוד גדולים של פרויקטים פתוחים כמו פייטscoreץ', טיפוסקריפט וטרנספורמרס. כרטיס המאגר לא מפרט תהליכי סינון ידניים או אוטומטיים שנעשו על הטקסטים.
מתאים ל
- הערכת זיכרון ארוך טווח
בדיקת יכולת המודל לשלוף עובדות והעדפות משיחות ישנות על פני סשנים מרובים.
- אימון מודלי שיקוע לקוד
כוונון מודלי אחזור למציאת פונקציות ודוקומנטציה מתוך מאגרי קוד ענקיים.
- מבחני שלילת מענה
בדיקה שמנוע האחזור יודע להימנע ממתן תשובה כשהמידע הנחוץ חסר במסד.
איפה זה נופל
כל התוכן מוגבל לשפה האנגלית בלבד, ואין פה ייצוג לעברית או לשפות אחרות. אם אתם בונים מנוע חיפוש מקומי לשוק הישראלי, המאגר הזה לא ייתן לכם אינדיקציה טובה לביצועים. מעבר לזה, חלק ממבחני הזיכרון כמו EPBench נוצרו ישירות באמצעות מודלים כמו קלוד ו־GPT-4o, מה שמכניס הטיות של נתונים סינתטיים. הכרטיס גם לא מציין תאריכי איסוף מדויקים של הנתונים, ולכן קשה לדעת אם עובדות שנאספו מהרשת עדיין עדכניות.
שאלות
נפוצות
האם המאגר מתאים לשימוש מסחרי?
כן, המאגר מפורסם תחת רישיון MIT המתיר שימוש מסחרי מלא. אתם יכולים לאמן עליו מודלים או להשתמש בו להערכת ביצועים פנימית במוצר שלכם. הדרישה המרכזית היא שימור הקרדיט ונוסח הרישיון בהפצה של הדאטה המקורי.
האם יש במאגר נתונים בעברית?
לא, המאגר מוגדר ומכיל טקסטים בשפה האנגלית בלבד. אם המוצר שלכם מיועד לעברית, לא תוכלו להשתמש בו להערכה ישירה בלי לתרגם אותו מראש. הוא רלוונטי בעיקר למי שבונה יכולות זיכרון ואחזור באנגלית.
במה הוא שונה ממאגרי MTEB רגילים?
הוא מתמקד במפורש באתגרים של זיכרון רציף, תהליכים פרוצדורליים ושיחות ארוכות. במקום בדיקת דמיון טקסטואלי רגיל, המשימות כאן כוללות הסקה לאורך זמן ועדכון עובדות שמשתנות. המבנה נועד לבחון התנהגות של סוכני שיחה מורכבים.
מאיפה הגיעו הנתונים שנמצאים בפנים?
המאגר מאגד מבחנים מוכרים מעולם הזיכרון של מודלי שפה, ביניהם LoCoMo, MemBench ו־Gorilla. בחלק מהמקרים, כמו ב־EPBench, התוכן נוצר ונבנה באמצעות מודלים כמו קלוד ו־GPT-4o סביב תרחישים שונים. חלקים אחרים מבוססים על קוד מקור ואינטראקציות אמיתיות מספריות קוד פתוח.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות ציון המזהה KaLM-Embedding/LMEB ושם הקונפיגורציה המבוקשת. המאגר פתוח לגמרי להורדה ולא דורש הרשאות מיוחדות או אישור גישה. קחו בחשבון שיש כאן 530 קבצים בפורמטים של JSONL ו־TSV, כך שכדאי למשוך רק את הקונפיגורציה הספציפית שמעניינת אתכם במקום את כל המאגר בבת אחת. השדות המרכזיים שמעניינים אתכם בשליפה הם השאילתות בקובצי queries, המזהים בקובצי qrels, והמסמכים המלאים בקובצי corpus.
from datasets import load_dataset
ds = load_dataset("KaLM-Embedding/LMEB")הרישיון
המאגר משוחרר תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולשלב אותו במערכות פנימיות בלי לשלם תמלוגים. הדרישה היחידה היא לשמור על הודעת זכויות היוצרים ונוסח הרישיון המקורי. אימון מודל על הנתונים אינו מחייב אתכם לחשוף את הקוד שלכם או לשחרר את המשקולות תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש