gdpval
קוד פתוחopenaiרישיון לא דווח2025-09-25
openai עומדים גם מאחורי Sora, ויש עליו סקירה כאן.
מאגר משימות מעשיות לבדיקת מודלים על עבודה מקצועית אמיתית. יש כאן 220 משימות מגוונות מ־44 מקצועות שונים, עם קובצי מקור אמיתיים ולא שאלות רב-ברירה תיאורטיות.
- 194,452הורדות בחודש
- 544לייקים
מה זה
המאגר כולל 220 משימות ידע מהעולם האמיתי שמכסות 44 מקצועות שונים. כל רשומה בנויה מהנחיית טקסט ראשית, ולצידה קובצי עזר וסימוכין שמשמשים בסיס לעבודה. אלה לא שאלות טריוויה קצרות, אלא תרחישים מקצועיים מלאים שדורשים התמודדות עם מסמכים נלווים.
המבנה של המאגר משלב קובץ נתונים ראשי בפורמט פרקט יחד עם מאות קובצי ליווי בתיקיית deliverable_files. הקבצים האלה כוללים מצגות PowerPoint, גיליונות אקסל ומסמכי PDF טכניים ועסקיים, כמו שרטוטים, תוכניות פיצוי ודוחות ניתוח. לפי התיעוד, הדמויות והפרטים המזהים של אנשים פרטיים בדאטהסט הם מומצאים, וחלק מהתמונות והסרטונים נוצרו בבינה מלאכותית או צולמו באישור.
מתאים ל
- בנצ'מרק ליכולות עבודה
בדיקה של מודלים מול תרחישים מקצועיים אמיתיים מ־44 תחומים שונים.
- ניתוח מסמכים מורכבים
הערכת היכולת של מערכות לעבד קובצי מקור בפורמטים של מצגות, אקסל ו־PDF.
- מבחני עמידות לתוכן רגיש
בדיקת התנהגות המודל במשימות מקצועיות שכוללות נושאים פוליטיים או בוטים.
איפה זה נופל
היוצרים מציינים במפורש שהדאטהסט מכיל תכנים רגישים, כולל פוליטיקה, שפה בוטה, אלכוהול ותכנים למבוגרים, משום שהם מייצגים עיסוקים כמו משפטים, קולנוע וספרות. בנוסף, מופיעים בו שמות של מותגים מסחריים וסימני מסחר לצורכי מחקר. אין כאן שום אזכור לתמיכה בעברית או משימות מקומיות לישראל, כך שזה לא יעזור לבדיקת ביצועים בסביבה עסקית מקומית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ בכלל. הרישיון של המאגר לא דווח, ואין היתר מפורש לשימוש מסחרי או לאימון מודלים למוצרים חיצוניים. החומרים מיועדים למחקר ולהערכה בלבד לפי התיעוד.
האם המשימות רלוונטיות לעבודה בעברית?
לא לפי מה שמופיע בכרטיס. התיעוד ודוגמאות הקבצים מציגים חומרים באנגלית ובספרדית בלבד. אין נתונים בעברית או התייחסות לחוק ולמשק הישראלי.
איך בנויות המשימות מבחינה טכנית?
כל אחת מ־220 המשימות כוללת הנחיית טקסט ראשית וקובצי סימוכין נלווים. הקבצים כוללים מסמכי PDF, גיליונות אקסל ומצגות שנדרש לקרוא כדי לבצע את המשימה המבוקשת.
האם המאגר כולל מידע אישי על אנשים אמיתיים?
לפי הצהרת המפתחים, שמות ופרטים מזהים של אנשים פרטיים במאגר הם פיקטיביים לחלוטין. תמונות או סרטונים שמופיעים בו מבוססים על תוכן שנוצר במחשב או על אנשים שנתנו אישור מפורש.
איך טוענים
הנתונים יושבים בקובץ parquet יחיד לחלוקת האימון, ולצידו 552 קבצים בסך הכל שכוללים את מסמכי העזר בפורמטים שונים. אפשר לגשת אליו ישירות דרך הספרייה של Hugging Face בלי תהליך אישור גישה מיוחד. כדי להריץ הערכה אמיתית תצטרכו להוריד את קובצי הנספחים, לקרוא פורמטים מורכבים כמו מצגות וטבלאות, ולהזין אותם לצד הטקסט של המשימה.
from datasets import load_dataset
ds = load_dataset("openai/gdpval")הרישיון
המאגר פורסם ללא רישיון מוגדר. במצב כזה אין אישור מפורש לשימוש מסחרי, ואי אפשר לדעת אם מותר לאמן עליו מודל שיופץ ללקוחות. כל שימוש מעבר למחקר פנימי ולהערכה נקודתית מסוכן מבחינה משפטית עד שיוגדר רישיון רשמי.