graphwalks

מה זה

הרשומות בנויות בצורה סינתטית ומציגות בעיות קשרים על גבי גרפים מכוונים שבהם לכל צומת יש לפחות דרגה אחת. המבנה מורכב מרשימת קשתות בין מזהים אקראיים, לצד הגדרת משימה ספציפית שהמודל נדרש לפתור.

התוכן מחולק לשני קבצים עיקריים לפי אורך ההקשר. קובץ אחד מכסה משימות באורך של עד 128 אלף תווים, והשני נמתח מ־256 אלף ועד למיליון תווים. המאגר כולל ארבע עמודות קבועות: הפרומפט המלא שכולל שלוש דוגמאות מנחות, התשובה הנכונה כמערך מזהי צמתים, ספירת התווים המדויקת, וסוג הבעיה שמבוקש לפתור.

מתאים ל

• בדיקת חלון הקשר ארוך

  בחינת יכולת של מודלים לאתר קשרים מדויקים בתוך טקסטים שמגיעים עד למיליון תווים.

• הערכת הסקה רב שלבית

  מדידת ביצועים של פעולות חיפוש לרוחב בגרף מכוון ללא הסתמכות על ידע קודם.

• אימות ציות להנחיות פלט

  בדיקה אם המודל מסוגל להחזיר רשימת מזהים נקייה בפורמט קשיח בשורה האחרונה.

איפה זה נופל

זהו מבחן סינתטי בלבד שלא מכיל שפה טבעית עשירה, ולכן הוא לא בודק הבנת טקסט אנושי מורכב או הקשרים בעברית. המאגר עבר תיקוני שגיאות בעקבות בעיות בייצור הנתונים המקורי, כולל אי דיוקים ב־24 מתוך 400 דוגמאות של מציאת הורים בקובץ הקצר יותר וניסוח מעורפל בשאלות חיפוש לרוחב. מודלים שלא יקפידו על הפורמט המדויק בשורת הסיום ייכשלו אוטומטית בהערכה.

איך טוענים

טוענים את הנתונים ישירות מספריות פייתון שתומכות בפורמט פרקט, כמו פנדס או ספרית הדאטהסטס, ללא צורך באישור גישה מיוחד. המאגר כולל ארבעה קבצים, מתוכם שני קובצי פרקט מרכזיים. שדות המפתח לבדיקה הם הפרומפט וסוג הבעיה, כאשר החילוץ מסתמך על שורת תשובה סופית בפורמט קשיח וההערכה מבוססת על מדדי דיוק וכיסוי מול רשימת האמת.

from datasets import load_dataset

ds = load_dataset("openai/graphwalks")

הרישיון

המאגר מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים, לשנות את הנתונים, להפיץ אותם הלאה ולאמן עליהם מודלים ללא דרישה לשיתוף תחת אותו רישיון. החובה היחידה היא שמירת הודעת זכויות היוצרים והרישיון המקורי בקוד או בהפצה שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗