instruct
קוד פתוחswypemit2023-03-29
אוסף פקודות ותשובות שמשלב מקורות מוכרים כמו אלפקה וג'יפיטי פור אול עם הרחבות סינתטיות. הוא נועד לאימון מודלים שצריכים ללמוד לעקוב אחרי הוראות ישירות.
- 160הורדות בחודש
- 52לייקים
מה זה
הרשומות פשוטות מאוד וכוללות שני שדות בלבד: שדה פרומפט שכולל משימה או שאלה, ושדה השלמה שמכיל את התשובה. המבנה הזה מחולק מראש לשבעים אחוז אימון, עשרים אחוז ולידציה ועשרה אחוז לבדיקה, בלי סיבוכים מיותרים בדרך.
הבסיס כאן הוא שילוב של שני מאגרי הדרכה פופולריים מתחילת גל ה־LLM: אלפקה של סטנפורד ו־GPT4All. מעבר להם, היוצרים הוסיפו דוגמאות שנוצרו באמצעות כלי אוגמנטציה של מכון אלן, לצד דאטהסטים פתוחים נוספים של מטא. הכרטיס לא מפרט אילו מודלים בדיוק יצרו את הטקסט או איזה סינון ידני בוצע, אם בכלל.
מתאים ל
- אימון מודל הוראות
כוונון עדין של מודלי שפה בסיסיים כדי שילמדו לקבל פקודה ולהחזיר תשובה ישירה.
- הערכת ביצועי מודל
שימוש בחלוקת הבדיקה המוכנה כדי לבחון כמה טוב מודל קיים עונה על שאלות.
- אימון גרסאות קטנות
הרצת בדיקות ראשוניות על מודלים קטנים ומקומיים בלי להסתבך עם הגדרות מורכבות.
איפה זה נופל
הכרטיס לא מציין שפות, אבל בהתחשב במקורות כמו אלפקה ו־GPT4All, מדובר כמעט בוודאות באנגלית בלבד. אין כאן התייחסות לעברית, לסינון רעלים, או להסרת תשובות שגויות והזיות שמגיעות עם דאטה סינתטי. בנוסף, הנתונים עלו במרץ 2023, כך שהם מייצגים דור מוקדם יחסית של נתוני הרצה. אם אתם בונים שירות שחייב דיוק עובדתי, תצטרכו לבדוק בעצמכם מדגם רציני מהתשובות.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה למוצר מסחרי?
הרישיון שמופיע בהאגינג פייס הוא MIT, והוא מתיר שימוש מסחרי חופשי לחלוטין. הבעיה היא שהמקורות הפנימיים מבוססים על אלפקה ודאטה שנוצר במקור במודלים מסחריים סגורים. אם אתם בונים מוצר לחברה, מומלץ לוודא שאין לכם חשיפה משפטית לתנאי השימוש של יוצרי הדאטה המקוריים.
האם יש במאגר נתונים בעברית?
הכרטיס לא מזכיר עברית כלל. המקורות שהמאגר מתבסס עליהם הם דאטהסטים שנבנו באנגלית עבור קהילת הקוד הפתוח בארצות הברית. לא הייתי בונה עליו לאימון מודל שמיועד לשפה העברית.
מה ההבדל בינו לבין שימוש ישיר באלפקה?
המאגר הזה מערבב כמה מקורות יחד, כולל תוספות סינתטיות של מכון אלן ומטא, במקום להסתמך רק על הסט של סטנפורד. בנוסף, הוא מספק חלוקה מובנית ומוגדרת מראש לחלקי אימון, ולידציה ובדיקה באותו קובץ.
איך טוענים
טוענים את המאגר ישירות מחיבור סטנדרטי להאגינג פייס, כשהקבצים כוללים קובץ טקסט בפורמט jsonl וסקריפט פייתון נלווה בשם instruct.py. אין צורך לבקש הרשאות מיוחדות או לחכות לאישור גישה. כשמעבדים את הנתונים, צריך לשלוף רק את שדות ה־prompt וה־completion בלי צורך בפרסור של מטא־דאטה מורכב.
from datasets import load_dataset
ds = load_dataset("swype/instruct")הרישיון
המאגר מפורסם תחת רישיון MIT, מה שאומר שמבחינת היוצר מותר להשתמש בו לכל מטרה, כולל שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים והייחוס המקורי. עם זאת, מכיוון שהמאגר משלב נתונים מאלפקה ו־GPT4All, ייתכן שיש תנאי שימוש עקיפים של החברות שיצרו את הדאטה המקורי שצריך לקחת בחשבון כשמאמנים מודל מסחרי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש