ToT
קוד פתוחbaharefcc-by-4.02024-06-11
מאגר מבחן שבודק הסקת מסקנות זמנית וחישובי זמנים במודלי שפה. הוא מציע שאלות סינתטיות מבוססות גרפים למי שרוצה למדוד איפה מודל נופל בחישוב ציר זמן.
- 417הורדות בחודש
- 27לייקים
מה זה
המאגר כולל שלושה פיצולים בפורמט של שאלות ותשובות. החלק הסמנטי הרגיל מכיל 1,850 דוגמאות שבוחנות הבנה לוגית של זמן, בעוד החלק הסמנטי המורחב מכיל 46,480 דוגמאות דומות בהיקף גדול יותר. החלק החישובי כולל 2,800 דוגמאות שמתמקדות באריתמטיקה של זמנים.
כל המידע כאן הוא סינתטי לחלוטין. הנתונים יוצרו באמצעות ספריות קוד פתוח כמו NetworkX, ששימשו לבניית גרפים שמהם הופקו השאלות והעובדות. בכל קבוצה יש שבעה סוגי שאלות שונים שנועדו לבדוק זוויות שונות של חשיבה זמנית.
בפיצולים הסמנטיים הרשומות כוללות את השאלה, התשובה הנכונה, סוג השאלה, הפרומפט המלא להערכה, סוג המיון של העובדות ואלגוריתם יצירת הגרף. בפיצול החישובי המבנה מצומצם יותר ומכיל רק את השאלה, סוג השאלה והתווית הנכונה.
מתאים ל
- הערכת היגיון זמני
בדיקת יכולת המודל להבין סדר כרונולוגי של אירועים וקשרים לוגיים על ציר זמן סינתטי.
- בדיקת חישובי זמנים
מדידת הדיוק של מודלים בביצוע פעולות אריתמטיות הקשורות לתאריכים, שעות ומרווחי זמן.
- השוואת ביצועי מודלים
הרצת מבחן השוואתי אחיד בין כמה מודלי שפה על בסיס הפרומפטים המוכנים.
איפה זה נופל
היוצרים אוסרים במפורש להשתמש במאגר לאימון מודלים, ומייעדים אותו אך ורק לבדיקה והערכה. הנתונים כולם באנגלית ומבוססים על גרפים מלאכותיים, כך שהם לא מייצגים שפה טבעית עשירה או טקסטים יומיומיים מהעולם האמיתי. מי שבונה מוצר בעברית או מחפש שאלות מתוך טקסטים עיתונאיים או היסטוריים לא ימצא כאן מענה. בנוסף, הכרטיס לא מפרט אילו הטיות קיימות בייצור הסינתטי מעבר לשימוש באלגוריתמי גרפים.
שאלות
נפוצות
האם מותר לאמן מודל על הדאטהסט הזה?
לא. אף על פי שהרישיון הוא מסוג קוד פתוח, היוצרים אסרו במפורש להשתמש בנתונים לאימון מודלים. המאגר כולל רק סטים של בדיקה ומטרתו לשמש כלי מדידה בלבד.
האם יש במאגר נתונים בעברית?
לא, הנתונים כולם באנגלית. המאגר לא כולל תמיכה בשפות נוספות ולא נבדק על שפות שאינן אנגלית. כדי להשתמש בו לטקסטים בעברית תצטרכו לתרגם את השאלות והתבניות בעצמכם.
איך הנתונים נאספו והופקו?
המידע לא נאסף מתוך טקסטים של בני אדם באינטרנט. הוא נוצר באופן סינתטי לחלוטין באמצעות ספריות תוכנה כמו NetworkX, שייצרו גרפים ומתוכם נגזרו השאלות והעובדות.
האם המאגר דורש משאבי אחסון מיוחדים?
לא מדובר במאגר ענק שדורש חומרה מיוחדת. הפיצולים מחולקים לקובצי JSON פשוטים, והקובץ הגדול ביותר מכיל כארבעים ושבעה אלף רשומות טקסט קצרות. אפשר לטעון ולעבד אותו בקלות על כל מחשב רגיל.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות פקודת load_dataset רגילה עם שם המאגר. אין צורך לבקש אישור גישה מראש. הקבצים שמורים בפורמט JSON בחמישה קבצים, והם כוללים רק ספליטים של בדיקה. כדי להריץ הערכה, מומלץ להשתמש ישירות בשדה הפרומפט המוכן בחלקים הסמנטיים, או לחלץ את השאלה והתווית עבור חישובי דיוק מול התוצאות שהמודל מחזיר.
from datasets import load_dataset
ds = load_dataset("baharef/ToT")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, כל עוד נותנים ייחוס מתאים ליוצרים. עם זאת, יוצרי הדאטהסט אסרו במפורש בעמוד שלו להשתמש בנתונים לאימון, ולכן בפועל הוא מיועד למדידה והערכה בלבד ולא לפיתוח מודלים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס