xlam-irrelevance-7.5k
קוד פתוחMadeAgentscc-by-4.02024-09-09
המאגר כולל 7,500 דוגמאות שנועדו ללמד מודל מתי לא להפעיל כלים כששום פונקציה ברשימה אינה מתאימה. הוא מתאים למי שרוצה למנוע הזיות והפעלות שגויות בסוכנים חכמים.
- 2,049הורדות בחודש
- 21לייקים
מה זה
הנתונים נשענים במלואם על xlam-function-calling-60k שפרסמה Salesforce. היוצרים דגמו באופן אקראי 7,500 דוגמאות מתוכו, הוציאו מתוך רשימת הכלים את הפונקציה הנכונה שנועדה לפתור את הבקשה, ותייגו את הדוגמה ככזו שבה אין אף פונקציה רלוונטית.
בפועל, המבנה מדמה מצב שבו משתמש מגיש בקשה למודל שפה, המודל מקבל סט של כלים אפשריים, אך אף אחד מהם לא באמת מסוגל לענות על הצורך. המטרה היא להכריח את המודל לזהות חוסר התאמה מוחלט במקום לנסות לנחש כלי בכוח.
המאגר פורסם כתוספת משלימה לחבילת הנתונים המקורית, ושימש את היוצרים לאימון סדרת המודלים Hammer, שמיועדת להפעלת כלים יעילה על גבי מכשירי קצה.
מתאים ל
- אימון זיהוי חוסר התאמה
לימוד מודלים לזהות מתי אף כלי אינו מתאים לבקשת המשתמש.
- הפחתת הזיות בסוכנים
מניעת קריאות שגויות לפונקציות כשמערכת הכלים מוגבלת.
- הערכת עמידות
בדיקת יכולת המודל להימנע מפעולה שגויה במבחני ביצועים.
איפה זה נופל
הכרטיס קצר מאוד ולא מפרט תמיכה בשפות אחרות, כך שהחומר כולו באנגלית והעתקה ישירה שלו לעברית לא תעבוד בלי תרגום או איסוף מקביל. בנוסף, מדובר במניפולציה סינתטית על דאטה קיים, שבה פשוט נמחקה הפונקציה המתאימה, בלי בדיקה ידנית מתועדת של איכות התוצאה או הטיות שנובעות מהמאגר המקורי של Salesforce. אם אתם בונים מוצר אמיתי, תצטרכו לבדוק בעצמכם אם המודל לא לומד לסרב יותר מדי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון הוא cc-by-4.0 ומאפשר שימוש מסחרי מלא. הדרישה היחידה היא לתת קרדיט מתאים למפרסמים ולציין אם בוצעו שינויים בקבצים.
האם יש בדאטהסט תמיכה בעברית?
לא. הנתונים מבוססים על מאגר מקור באנגלית ומכילים פקודות וכלים באנגלית בלבד. אם המוצר שלכם פונה לשוק המקומי, תצטרכו לתרגם את הדוגמאות או לאסוף חומר חדש.
מאיפה הגיעו הנתונים ואיך בנו אותם?
החוקרים לקחו 7,500 דוגמאות מתוך מאגר xlam-function-calling-60k של Salesforce. בכל דוגמה הם הסירו את הפונקציה המקורית מרשימת הכלים, ותייגו את הדוגמה ככזו שבה אין אף כלי רלוונטי לבקשה.
איך טוענים
הקובץ המרכזי במאגר הוא xlam-7.5k-irrelevancek.json, לצד קובץ התיעוד הרגיל. אין צורך באישור גישה מיוחד כדי להוריד אותו מ־Hugging Face, ואפשר לקרוא אותו ישירות עם ספריית datasets או כקובץ JSON פשוט. לפני שרצים לאמן, בדקו את שמות השדות שכוללים את הפורמט של רשימת הכלים ואת התיוג של חוסר הרלוונטיות, כדי לוודא התאמה לפרומפט שבו אתם משתמשים.
from datasets import load_dataset
ds = load_dataset("MadeAgents/xlam-irrelevance-7.5k")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. הרישיון מתיר שימוש מסחרי, שינוי של הנתונים ושילוב שלהם בפרויקטים פנימיים, בתנאי שאתם נותנים קרדיט מתאים ליוצרים ומציינים אם נעשו שינויים. אין דרישה לשתף את המודל המאומן או את הנגזרות תחת אותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס