ai_society
קוד פתוחcamel-aicc-by-nc-4.02023-04-03
שיחות סינתטיות בין סוכני בינה מלאכותית בתפקידים שונים עבור אימון מודלים לביצוע הוראות. מאגר מובנה שמתעד אינטראקציות רב שלביות לפתרון משימות מוגדרות מראש.
- 350הורדות בחודש
- 47לייקים
מה זה
המאגר כולל 25,000 שיחות שנוצרו כולן על ידי שני סוכנים מבוססי gpt-3.5-turbo שניהלו ביניהם משחקי תפקידים. המפתחים יצרו שילוב של 50 תפקידי משתמש ו־50 תפקידי עוזר, וכל צמד תפקידים כזה הופעל על פני 10 משימות שונות במטרה לפתור אותן בשיתוף פעולה.
התוכן מוגש בשני פורמטים נפרדים. הפורמט הראשון הוא קובץ ארכיון של שיחות מלאות, שמכיל את רצף ההודעות המלא בין הסוכנים, תפקיד הדובר בכל שלב, תוכן הדברים, מספר ההודעות והסיבה לסיום השיחה. הפורמט השני מגיע כקובץ json שטוח של הוראות ותשובות, שמחלק את המידע למשימה מקורית, משימה מוגדרת ומפורטת יותר, קלט רלוונטי, ותשובת המודל שמשמשת כפלט ישיר להוראה.
מתאים ל
- אימון מודל להוראות
פיין טיונינג של מודלי שפה על משימות מוגדרות בעזרת קובץ ההוראות והפלטים.
- חקר סוכנים אוטונומיים
ניתוח דפוסי תקשורת, שיתוף פעולה ופתרון בעיות בין שני סוכני שיחה שונים.
- הערכת עמידה בתפקיד
בדיקת יכולת המודל לשמור על פרסונה מקצועית ועקבית לאורך שיחה ממושכת.
איפה זה נופל
כל הטקסט כאן סינתטי לחלוטין ונוצר על ידי מודל שפה, כך שהוא עלול לכלול שגיאות עובדתיות והזיות שהמודל ייצר במהלך השיחה. הנתונים קיימים באנגלית בלבד ונוצרו באפריל 2023, ללא נתונים בעברית וללא מעורבות אנושית ישירה בסינון או בתיקוף התוצאות.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
לא, הרישיון הוא cc-by-nc-4.0 שמגביל את השימוש למטרות מחקר בלבד. היוצרים מציינים זאת במפורש בהגדרת הרישיון ובאזהרה בתחתית התיעוד. אם תאמנו עליו מודל, לא תוכלו למכור שירותים שמבוססים עליו.
האם יש במאגר שיחות בעברית?
לא, כל השיחות במאגר נוצרו באנגלית בלבד. מי שמחפש נתונים לאימון מודלים בעברית יצטרך לתרגם את המאגר בעצמו או לחפש מקור אחר. אין כאן תמיכה רב לשונית מובנית.
איך המידע נוצר בפועל?
המידע הופק באופן סינתטי מלא באמצעות gpt-3.5-turbo. החוקרים הגדירו 50 תפקידי משתמש ו־50 תפקידי עוזר, ונתנו להם לשתף פעולה על 10 משימות שונות לכל צמד תפקידים עד לסיום השיחה.
באילו פורמטים הנתונים מגיעים?
המאגר מציע שתי אפשרויות להורדה. ישנו קובץ ai_society_instructions.json שמתאים ישירות למשימות אימון הוראות, וארכיון מכווץ בשם ai_society_chat.tar.gz שמכיל את תעתיקי השיחות המלאים שלב אחר שלב.
איך טוענים
טעינת הנתונים לא דורשת אישור גישה מיוחד ומורידים את הקבצים ישירות מהמאגר בעזרת הספרייה של huggingface_hub. יש לבחור איזה קובץ למשוך, את ארכיון השיחות ai_society_chat.tar.gz או קובץ ה־json של ההוראות. בעבודה עם ההוראות השדות המרכזיים הם instruction ו־output, ובשיחות המלאות עובדים ישירות עם רשימת ההודעות.
from datasets import load_dataset
ds = load_dataset("camel-ai/ai_society")הרישיון
הרישיון הוא cc-by-nc-4.0, מה שאוסר שימוש מסחרי מכל סוג. מותר להשתמש בנתונים למחקר בלבד, ויש לתת קרדיט ליוצרים. אימון מודל על המאגר הזה יגביל את השימוש בו למטרות לא מסחריות בלבד.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא