lilacai/glaive-function-calling-v2-sharegpt
קוד פתוחlilacaiרישיון לא דווח2024-01-22
המאגר מספק שיחות לאימון מודלים על הפעלת פונקציות, כשהטקסט הגולמי כבר מומר למבנה התפקידים המוכר של ShareGPT. הוא חוסך את הצורך לפרק מחרוזות שיחה ארוכות בעצמכם.
- 1,512הורדות בחודש
- 31לייקים
מה זה
הנתונים מבוססים על הדאטהסט המקורי של glaive function calling v2, ועברו המרה באמצעות הכלי של חברת Lilac. במקום להשאיר את חילופי הדברים בתוך שדה טקסט אחיד שמערבב בין משתמש לעוזר, ההמרה מייצרת מבנה רשימתי שמתאים לכלי אימון מודרניים. השדות המקוריים בשם system ו־chat עדיין קיימים ברשומות, כך שאפשר לגשת גם למידע הגולמי ללא שינוי.
המבנה החדש מגדיר ארבעה תפקידים שונים בתוך השיחה: system, user, human, ו־function call. כל אינטראקציה מתועדת עם כותב ההודעה והתוכן שלה, כולל קריאות לפונקציות עם ארגומנטים מובנים במבנה JSON ותשובות שחוזרות מהפונקציה. הדאטהסט לא מציג חלוקות סינון חדשות מעבר להמרה הזו, והוא מאורגן בשני קבצי parquet המרכיבים את סט האימון כולו.
מתאים ל
- אימון מודלים להפעלת כלים
לימוד מודל שפה לייצר תחביר מדויק של קריאה לפונקציות ותשובות מתאימות.
- הזנה לספריות ShareGPT
שימוש ישיר בכלי אימון וכוונון שמצפים למבנה שיחה סטנדרטי בלי עיבוד מקדים.
- בדיקת מבנה קריאות JSON
בחינת האופן שבו ארגומנטים של פונקציות משתלבים ברצף של שיחה מרובת שלבים.
איפה זה נופל
כרטיס הנתונים לא מפרט תהליכי סינון, בקרת איכות או בדיקות שבוצעו על השיחות. אין שום תיעוד של שפות נוספות מלבד אנגלית, כך שאין כאן מענה לשימוש בעברית. בנוסף, לא מצוין גיל המידע המקורי או הטיות שנובעות מאופן יצירת הנתונים של glaive, ולכן לפני שמכניסים מודל כזה לשירות פעיל חייבים לבדוק ידנית שהוא לא מייצר קריאות פונקציה שגויות.
שאלות
נפוצות
האם מותר להשתמש בזה לפרויקט מסחרי?
לא דווח רישיון בעמוד הדאטהסט, ולכן אין אישור ברור לשימוש מסחרי. כדאי לפנות למאגר המקורי של glaiveai ולבדוק את תנאי השימוש שהם הגדירו לגרסה 2 שלהם.
האם הדאטהסט כולל תמיכה בעברית?
הדוגמאות והמידע מופיעים כולם באנגלית בלבד. אין שום תיעוד בכרטיס המאגר לקיומן של שיחות או פונקציות בעברית.
מה ההבדל בין המאגר הזה לבין glaive המקורי?
התוכן מבוסס על אותו מקור, אבל כאן הטקסט עבר המרה אוטומטית למבנה ShareGPT עם תפקידים מסודרים. זה חוסך כתיבת סקריפטים לפירוק הטקסט הגולמי של השיחה.
האם השיחות חולקו לקבוצות בדיקה ואימון?
לפי רשימת הקבצים קיימים רק שני קבצי אימון בשם train, ללא פיצול מובנה ל־validation או test. תצטרכו להפריד נתונים לבדיקה בכוחות עצמכם.
איך טוענים
הנתונים פתוחים להורדה ישירה ללא צורך בהרשאה מיוחדת או באישור גישה. הם יושבים בשני קבצי parquet שמרכיבים יחד ארבעה קבצים במאגר הכולל. כדי לעבוד איתם בטעינה רגילה, תרצו לפנות ישירות לעמודת conversations שמכילה את רשימת ההודעות במבנה ShareGPT, או לעמודות system ו־chat אם אתם צריכים את הפורמט הישן.
from datasets import load_dataset
ds = load_dataset("lilacai/glaive-function-calling-v2-sharegpt")הרישיון
הרישיון של המאגר לא דווח. מבחינה משפטית, היעדר רישיון מוגדר משאיר את זכויות השימוש בסימן שאלה, ולא ברור אם מותר להשתמש בו לצרכים מסחריים או לאמן עליו מודל שיופץ לאחר מכן. במצב כזה מומלץ לבדוק את הרישיון של המקור המקורי של glaive לפני שמתחילים לרוץ עליו.