lambada

מה זה

הנתונים מבוססים על קטעים שנלקחו מתוך ספרים בפרויקט BookCorpus. הרשומות מורכבות מפסקאות סיפוריות שבהן המילה האחרונה היא מילת היעד לניבוי. הסינון בוצע בעזרת נסיינים בתשלום, והוכנסו למבחן רק קטעים שבהם אדם הצליח לנחש את המילה האחרונה כשקרא את כל הפסקה, אבל אף אדם לא הצליח לנחש אותה כשרק המשפט האחרון הוצג לו.

החלוקה כוללת קבוצת אימון, קבוצת פיתוח וקבוצת בדיקה. קבוצת האימון מורכבת מרומנים שלמים ללא סינון מיוחד, ואינה חופפת לספרים שמהם נלקחו קטעי הפיתוח והבדיקה. בנוסף, לקטעים החשופים לתוכן פוגעני הופעל סינון ראשוני בעזרת רשימת מילים חסומות.

מתאים ל

• הערכת מודלי שפה

  בדיקת יכולת המודל לזכור פרטים ולנחש מילה מתוך הבנת הקשר רחב ולא רק מילים סמוכות.

• אימון על טקסט ספרותי

  אימון או המשך כוונון של מודלי שפה על טקסט סיפורי ארוך באנגלית מתוך רומנים.

• מחקר תלויות ארוכות טווח

  השוואת ארכיטקטורות שונות סביב היכולת לתפוס הקשר מעבר לגבולות המשפט הבודד.

איפה זה נופל

הטקסט כולו באנגלית בלבד, ואין כאן נתונים בעברית או בשפות אחרות. המקור מבוסס על ספרות מתוך BookCorpus, כך שהסגנון נרטיבי מאוד ולא מייצג שיחות יומיומיות, שפה טכנית או מסמכים מקצועיים. הכרטיס אינו מפרט מידע על הטיות חברתיות או פרטים מזהים מעבר לסינון מילים פוגעניות, ולכן בדיקת התאמה למוצר דורשת זהירות מפני תוכן ספרותי בעייתי.

איך טוענים

המאגר שמור בפורמט Parquet בחלוקה לקבצי רכבת, פיתוח ובדיקה, ללא צורך באישור גישה מיוחד. הרשומות כוללות שדה טקסט שמכיל את הרקע, משפט המטרה ומילת היעד בסופו. בחלק האימון קיים גם שדה קטגוריה שמציין את סוגת הספר, שדה שאינו מופיע בחלקי הבדיקה והפיתוח.

from datasets import load_dataset

ds = load_dataset("cimec/lambada")

הרישיון

הנתונים מופצים תחת רישיון cc-by-4.0. מותר להשתמש בהם לצרכים מסחריים ומחקריים, לשנות אותם ולהפיץ אותם הלאה, בתנאי שנותנים קרדיט מתאים ליוצרים ומציינים אם נעשו שינויים. אין דרישה לשתף תוצרי אימון או נגזרות באותו רישיון בדיוק.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗