lama

מה זה

המאגר מורכב ממשפטים באנגלית שבהם הוחלף אובייקט יחיד בטוקן מסוג MASK, לצד משפטים בעלי מבנה של שלילה. המטרה היא לבחון אם המודל מסוגל לנחש את המילה הנכונה רק מתוך ההקשר. הטקסטים חולקו לארבע קונפיגורציות שונות לפי המקור שממנו נגזרו, כולל תבניות יחסים מוגדרות מראש.

המקורות כוללים תת קבוצה מתוך ויקינתונים דרך TRex, שלשות יחסים מתוך ConceptNet, דוגמאות מתוך Google_RE, וקטעים מתוך SQuAD. בכל מקור הנתונים עברו התאמה לצורת מבחן השלמה, וחלקם כוללים מידע נוסף כמו ראיות מטקסט המקור או שיפוטי תיוג אנושיים.

מתאים ל

• מבחן ידע עובדתי

  מדידת היכולת של מודל שפה לשלוף עובדות על ישויות בלי צורך באימון מותאם.

• בדיקת היגיון בסיסי

  בחינת מודלים על קשרים פשוטים מתוך ConceptNet דרך השלמת מילים מוסתרות.

• ניתוח רגישות לשלילה

  בדיקה אם המודל מתבלבל כשמוסיפים למשפט העובדתי תבנית שלילה.

איפה זה נופל

כל הטקסטים באנגלית בלבד, כך שאין שום כיסוי לשפות אחרות או לידע מקומי ישראלי. ההסתמכות היא על מקורות ישנים יחסית ממאמרי 2019 ו־2020, ולכן המידע העובדתי עלול להיות לא מעודכן. בנוסף, המבחן מוגבל לחיזוי אובייקט יחיד, ויש סתירה ברישום לגבי תנאי השימוש המסחרי שדורשת בדיקה זהירה לפני שילוב בפרויקט.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets באמצעות הסקריפט lama.py, תוך בחירה באחת מארבע הקונפיגורציות: trex, conceptnet, squad או google_re. המאגר כולל בין עשרת אלפים למאה אלף רשומות בסך הכל ואין צורך באישור גישה מראש כדי להוריד אותו. השדות המרכזיים שמעניינים אתכם הם masked_sentence וערך היעד שנמצא בדרך כלל תחת obj_label או obj_surface. שימו לב שבקונפיגורציית google_re חלק מהשדות הפנימיים כמו evidences שמורים כמחרוזות JSON שטוחות שצריך לפענח לבד בקוד.

from datasets import load_dataset

ds = load_dataset("facebook/lama")

הרישיון

יש סתירה ישירה ברישום. המטאדאטה של המאגר מציגה cc-by-4.0, שמתיר שימוש מסחרי תחת ייחוס בלבד. מנגד, גוף הטקסט מפנה לרישיון Creative Commons Attribution-Noncommercial 4.0 International, שאוסר מפורשות כל שימוש מסחרי. כל עוד הסתירה הזו קיימת, אסור לבנות על זה מוצר מסחרי.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗