TRUEBench
קוד פתוחSamsungResearchapache-2.02025-07-30
אפשר גם להריץ אותו בדפדפן בלי להתקין דבר.
המאגר כולל מעל 2,400 דוגמאות שנועדו לבחון מודלי שפה כעוזרי פרודוקטיביות בעבודה. הוא מתאים למי שרוצה לבדוק שיחות מרובות תורות והבנת אילוצים מרומזים ב־12 שפות שונות.
- 264הורדות בחודש
- 32לייקים
מה זה
סמסונג בנו כאן בנצ׳מרק להערכת מודלים במשימות עבודה משרדיות. המאגר כולל מעל 2,400 דוגמאות שמחולקות לעשר קטגוריות שונות, בהן יצירת תוכן, עריכה, ניתוח נתונים, סיכום, תרגום, היגיון ובדיקות בטיחות והזיות. המטרה שלהם הייתה לבדוק איך מודל מתמודד עם דרישות שלא תמיד נאמרות במפורש, לצד שינויי הקשר תוך כדי שיחה ממושכת.
כל רשומה מורכבת ממספר אינדקס, קטגוריה ותת קטגוריה, מספר תורות השיחה, רשימת קלטים של המשתמש ורשימת קריטריונים להערכה שנבנתה כצ׳קליסט. החומרים מכסים 12 שפות, כולל אנגלית, קוריאנית, ספרדית, גרמנית, יפנית ורוסית. כרטיס המאגר לא מפרט מאיזה מקורות הגיעו הטקסטים המקוריים או איך בדיוק סיננו אותם לפני הפרסום.
מתאים ל
- בדיקת שיחות מרובות תורות
הערכת היכולת של מודל לשמור על הקשר ולעקוב אחרי הוראות לאורך כמה חילופי דברים ברצף.
- מדידת עמידה באילוצים סמויים
בחינה אם המודל מזהה דרישות עבודה שלא נאמרו במפורש באמצעות מערך הקריטריונים המובנה.
- בנצ׳מרק לפרודוקטיביות רב-לשונית
השוואת ביצועי מודלים במשימות משרדיות כמו עריכה, ניתוח נתונים וסיכום ב־12 שפות.
איפה זה נופל
החיסרון המרכזי למפתחים מקומיים הוא היעדר מוחלט של עברית. המאגר מכסה 12 שפות בלבד, ביניהן אסייתיות ואירופיות. בנוסף, כרטיס המאגר לא מספק מידע על תהליך האיסוף, על בודקים אנושיים או על הטיות אפשריות בנתונים. עם קצת יותר מ־2,400 דוגמאות שמחולקות לעשר קטגוריות ו־12 שפות, מספר הדוגמאות לכל שילוב של שפה ומשימה מצומצם למדי. לא הייתי מסתמך עליו לבדו כדי לקבל החלטה על מודל ייעודי לשפה ספציפית.
שאלות
נפוצות
האם המאגר כולל תמיכה בעברית?
לא. המאגר כולל 12 שפות, ביניהן אנגלית, קוריאנית, צרפתית, רוסית וגרמנית, אך עברית אינה נכללת בו כלל.
האם מותר להשתמש בדאטהסט לצורך פיתוח מוצר מסחרי?
כן. רישיון apache-2.0 מאפשר שימוש מסחרי מלא, כולל הרצת בדיקות למערכות פנימיות ומוצרים מסחריים, כל עוד שומרים על תנאי הייחוס של הרישיון.
מה הגודל של המאגר וכמה משאבים צריך כדי להוריד אותו?
המאגר קטן מאוד ומכיל מעל 2,400 דוגמאות בלבד המחולקות ל־15 קובצי parquet. אפשר לטעון אותו תוך שניות בודדות על כל מחשב רגיל בלי צורך בתשתית מיוחדת.
איך נאספו הדוגמאות במאגר?
סמסונג לא פירטו בכרטיס המאגר את מקורות המידע, תהליך הסינון או שיטת יצירת השיחות. ידוע רק שהרשומות חולקו לעשר קטגוריות תוכן ונבנו עבורן קריטריוני הערכה.
איך טוענים
המאגר שמור ב־15 קובצי parquet תחת פיצול dev, ללא צורך בהרשאה מיוחדת או בבקשת גישה. אפשר למשוך אותו ישירות דרך הספרייה של Hugging Face. הקבצים קטנים יחסית מאחר שמדובר באלפי רשומות בודדות של טקסט, כך שההורדה מהירה מאוד. כשאתם בונים את סקריפט הבדיקה, שימו לב במיוחד לשדות input ו־criteria. השדה input מכיל רשימת מחרוזות שמייצגת את תורות השיחה, והשדה criteria מכיל רשימות של קריטריונים שנועדו לבדיקה שיטתית, מה שמחייב לוגיקה ייעודית בצד שלכם כדי להשוות את פלט המודל לקריטריונים שהוגדרו.
from datasets import load_dataset
ds = load_dataset("SamsungResearch/TRUEBench")הרישיון
המאגר שוחרר תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, בתנאי שאתם שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון. אין דרישה לשתף תוצרים או מודלים באותו רישיון. מאחר שמדובר בבנצ׳מרק להערכה בלבד, בדרך כלל לא תאמנו עליו מודלים ישירות, אבל אין מניעה חוקית לשלב אותו בתהליכי בדיקה של מוצרים מסחריים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים