collaborative_agent_bench
קוד פתוחfacebookother2025-02-11
המאגר מרכז נתונים לאימון והערכת סוכני שפה במשימות חשיבה מרובות שלבים. הוא מיועד למי שחוקר שיתוף פעולה בין מודלים לפי שיטת SWEET-RL.
- 233הורדות בחודש
- 60לייקים
מה זה
המאגר מלווה מחקר של מטא בשם SWEET-RL, שמתמקד באימון סוכנים על משימות פתרון בעיות משותפות. החומרים מבוססים על פלטים שנוצרו באמצעות המודל Llama 3.1, כפי שמשתקף גם בשמות הקבצים שכוללים ריצות של גרסת שמונה מיליארד פרמטרים.
מבנה הנתונים מחולק לקובצי jsonl לפי משימות. יש כאן חלוקה מוגדרת מראש לאימון ולבדיקה תחת תיקיית backend_tasks, לצד קובץ נפרד של כחמש עשרה אלף דוגמאות קוד במצב אופליין. כרטיס הדאטהסט לא מפרט את הסכמה המדויקת של הרשומות או את שלבי הסינון, ומפנה ישירות למאמר ולמאגר הקוד של הפרויקט לקבלת הפרטים המלאים.
מתאים ל
- אימון סוכני קוד מרובי שלבים
שימוש בקובץ הלא מקוון כדי ללמד מודלים להתמודד עם שרשראות קוד מורכבות.
- הערכת שיתוף פעולה בין סוכנים
בדיקת ביצועים על קובץ הבדיקה המובנה במשימות צד שרת לפי מתודולוגיית SWEET-RL.
- מחקר אקדמי בלמידת חיזוק
שחזור התוצאות מהמאמר של מטא ובחינת שיטות אימון חדשות על נתוני פלט של Llama.
איפה זה נופל
הכרטיס כמעט ריק מפרטים טכניים על אופן הסינון, ההטיות של המודל שיצר את המידע, או התפלגות המשימות. כל המידע נשען על פלטים סינתטיים של Llama 3.1, בלי שום תיעוד לנתונים בעברית, כך שההתאמה לעבודה מקומית אינה קיימת בלי אימות עצמאי. בנוסף, חוסר הפירוט על גיל הנתונים או על כיסוי המקרים מחייב אתכם לקרוא את המאמר המלא בטרם תסתמכו עליו בבדיקות שלכם.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
לא. המאגר מוגן תחת רישיון CC-BY-NC שאוסר כל שימוש מסחרי. בנוסף חלים עליו תנאי הרישיון של Llama 3.1, כך שהוא מוגבל למחקר ולניסויים בלבד.
האם המאגר כולל תוכן בעברית?
לא נמסר על תמיכה בעברית. הנתונים נוצרו לצורך מחקר באנגלית סביב משימות קוד וצד שרת, ואין כל אינדיקציה לקיומן של שפות נוספות.
מה המשמעות של התניית השם ברישיון?
אם תאמנו מודל על גבי הנתונים הללו ותפרסמו אותו, תהיו חייבים לפתוח את שמו במילה Llama. זו דרישה מפורשת המגיעה מרישיון המקור של מטא עבור פלטי המודל שלה.
איך טוענים
את הקבצים מורידים ישירות מהמאגר בתצורת jsonl פשוטה, ללא צורך באישור גישה מקדים או במילוי טפסים. גודל ההורדה הכולל אינו מפורט בדף, אך המאגר כולל חמישה קבצים בלבד שנטענים בקלות בספריות עיבוד נתונים רגילות. שדות הרשומה הפנימיים אינם מתועדים בכרטיס, ולכן תצטרכו להציץ בקובץ הראשון או לבדוק את קוד הפרויקט בגיטהאב כדי להבין את המבנה המדויק.
from datasets import load_dataset
ds = load_dataset("facebook/collaborative_agent_bench")הרישיון
הרישיון מוגדר כ־CC-BY-NC יחד עם תנאי הרישיון של Llama 3.1. אסור להשתמש בנתונים למטרות מסחריות כלל, וחובה לתת ייחוס ליוצרים. אם אתם מאמנים או מכווננים מודל על המאגר ומפיצים אותו, אתם מחויבים להוסיף את המילה Llama בתחילת שמו.