ToolHop
קוד פתוחbytedance-researchרישיון לא דווח2025-01-07
בנצ'מרק שבודק הפעלת כלים בשרשרת של כמה שלבים עם כלים שרצים מקומית. הוא מכוון למפתחים שרוצים לבחון סוכנים על משימות שדורשות כמה קריאות פונקציה רצופות ולא בדיקה בודדת.
- 814הורדות בחודש
- 23לייקים
מה זה
המאגר מציע 995 שאילתות משתמש ולצידן 3,912 כלים מותאמים שנועדו להרצה מקומית. הבסיס נשען על הרחבה של הדאטהסט MorehopQA, כאשר החוקרים השתמשו בגישה מונחית שאילתות שכללה יצירת כלים, עידון מסמכים ומחוללי קוד כדי לייצר תלויות אמיתיות בין שלבי הפתרון.
כל רשומה דורשת שילוב של הבנת הנקרא, תכנון והרצת פונקציות שמחזירות משוב מפורט ומאפשרות אימות של התשובה הסופית. המאגר נבנה סביב תרחישים שבהם מודל לא יכול לספק תשובה בקריאה בודדת, אלא מוכרח להשתמש בפלט של כלי אחד כדי לתחקר את הכלי הבא בתור.
מתאים ל
- בדיקת יכולות סוכנים
הרצת מודלים על שרשראות כלים מרובות שלבים כדי למדוד את אחוזי ההצלחה בפתרון בעיות מורכבות.
- השוואת מודלים מובילים
הערכה השוואתית בין משפחות מודלים סגורים כמו GPT ו־Claude לבין מודלים פתוחים כמו Qwen ו־LLaMA.
- ניתוח אסטרטגיות קריאה
בחינת ההבדלים בין התנהגות מודל במצב כפוי, ישיר או חופשי בזמן הפעלת פונקציות מקומיות.
איפה זה נופל
הנתונים כולם באנגלית בלבד, כך שמי שמפתח מוצר בעברית יצטרך לתרגם או לייצר בנצ'מרק משלו. מדובר בדאטהסט להערכה בלבד עם פחות מאלף שאילתות, כלומר הוא לא מתאים לאימון של מודלים מאפס או לפיין טיונינג רחב. לפי הבדיקות בכרטיס, GPT-4o הוביל עם 49.04% דיוק בלבד, מה שמראה שהמשימות קשות מאוד ומודלים נוטים להיכשל בהן לעיתים קרובות.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט בפרויקט מסחרי?
כן. הקבצים בתיקיית data משוחררים תחת רישיון CC BY 4.0 שמתיר שימוש מסחרי, בתנאי שנותנים קרדיט ליוצרים. קוד ההערכה עצמו נמצא תחת רישיון Apache 2.0.
האם המאגר כולל תמיכה בעברית?
לא. השפה המוגדרת במאגר היא אנגלית בלבד. כל השאילתות והכלים נכתבו באנגלית, ואין כאן דוגמאות לשפות נוספות.
איך הנתונים האלה נוצרו?
החוקרים בנו את המאגר על בסיס MorehopQA. הם יצרו כלים מקומיים, שכתבו מסמכים וייצרו קוד כדי ליצור תלות אמיתית שבה כל כלי מסתמך על מידע מהשלב הקודם.
האם המאגר מתאים לאימון מודל?
לא מומלץ. עם 995 שאילתות בלבד וקוד מובנה להרצת מבחנים, המאגר נועד לשמש כבנצ'מרק להערכת ביצועים ולא כחומר גלם לאימון.
איך טוענים
הנתונים יושבים בקובץ data/ToolHop.json, לצד סקריפטים מוכנים בתיקיית code להרצה מול מודלים פתוחים כמו LLaMA3.1 ו־Qwen2.5, או סגורים כמו GPT, Claude ו־Gemini. המאגר ציבורי לחלוטין ולא דורש אישור גישה מראש. מתקינים את התלויות מקובץ requirements.txt ומריצים את evaluation_open.py או evaluation_closed.py עם בחירת התרחיש הרצוי מבין Direct, Mandatory או Free.
from datasets import load_dataset
ds = load_dataset("bytedance-research/ToolHop")הרישיון
למרות שבעמוד המאגר הראשי לא דווח רישיון ברמת המטאדאטה, הטקסט מפרט שהקוד ברישיון Apache 2.0 והנתונים עצמם תחת CC BY 4.0. המשמעות היא שמותר להשתמש בהם למחקר ולצרכים מסחריים, כל עוד נותנים ייחוס מתאים לחוקרים.