open-instruct
קוד פתוחVMwarecc-by-3.02023-07-11
המאגר מאגד כמה מקורות הוראות מוכרים לחבילה אחת נקייה מפורמטים קשיחים. הוא חוסך איסוף ידני כשרוצים לאמן מודל שיחה ומענה להוראות באנגלית.
- 241הורדות בחודש
- 46לייקים
מה זה
התוכן מורכב משילוב של תת קבוצה מסוננת מתוך OASST1, פיצול האימון של Mosaic dolly hhrlhf שכולל בעצמו את dolly 15k של Databricks וסינון מ HH RLHF של Anthropic, ותת קבוצה מסוננת מתוך cot submix original.
המבנה כולל שש עמודות קבועות. שדה ההוראה המקורי חולץ מתוך תבניות אלפקה כדי להשאיר טקסט טבעי ונקי, ולצידו נשמר שדה נפרד עם תבנית האלפקה המלאה. שאר העמודות מכילות את התשובה, המקור שממנו נלקחה הרשומה, שם המשימה, וסוג התבנית של flan שהופעלה שם, בין אם zero shot ובין אם few shot.
מתאים ל
- אימון מודל הוראות
כוונון של מודלי שפה באנגלית על הוראות נקיות ללא תבניות מובנות מראש.
- הסרת תבניות אלפקה
שימוש בטקסט ההוראה הישיר כדי לבנות תבניות פרומפט מותאמות אישית.
- אימון שרשרת מחשבה
שימוש בדוגמאות מתוך תת המאגר של cot לשיפור יכולות הסקת מסקנות.
איפה זה נופל
הנתונים כולם באנגלית בלבד. מי שבונה מודל לעברית לא ימצא כאן כלום בלי לתרגם קודם. בנוסף, מדובר באוסף שמורכב ממקורות שונים עם תנאי רישוי משתנים ברקע, כולל תכנים תחת שיתוף זהה, כך שחובה לוודא שאין התנגשות משפטית לפני שמכניסים אותו לתהליך מסחרי סגור.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
כן, הכרטיס מציין שהשימוש המסחרי מותר בכפוף לתנאי הרישיון. יחד עם זאת, יש בפנים מקורות שמגיעים תחת CC BY-SA 3.0 כמו ויקיפדיה, ולכן צריך לבדוק היטב אם חובת השיתוף הזהה חלה על המודל שאתם מאמנים.
האם יש במאגר נתונים בעברית?
לא. המאגר מוגדר ומכיל טקסטים בשפה האנגלית בלבד. אם המטרה היא תמיכה בעברית, תצטרכו לתרגם את הנתונים בעצמכם או לשלב מאגרים אחרים.
במה הוא שונה מ Dolly או OASST1 הרגילים?
הוא מאחד כמה מאגרים מובילים במקום אחד ומסנן אותם. בנוסף, יוצרי המאגר חילצו את ההוראות מתוך הפורמט הקשיח של אלפקה, כך שמקבלים גישה ישירה לטקסט ההוראה המקורי לצד התשובה.
איך טוענים
טוענים את המאגר ישירות מ Hugging Face, אין צורך בבקשת גישה מיוחדת או באישור ידני. כל המידע יושב בקובץ parquet יחיד בתיקיית המידע. העמודות המרכזיות לעבודה הן instruction ו response, לצד source שמאפשר לסנן החוצה מקורות ספציפיים אם רוצים לברור מאיזה תת מאגר לאמן.
from datasets import load_dataset
ds = load_dataset("VMware/open-instruct")הרישיון
המאגר מוגדר תחת cc-by-3.0 ומותר לשימוש מסחרי בכפוף למתן קרדיט. עם זאת, תתי החלקים שמרכיבים אותו מגיעים עם רישיונות מגוונים כמו MIT, Apache 2.0 וגם חומרים מוויקיפדיה ומקורות נוספים תחת CC BY-SA 3.0, מה שעשוי לדרוש שיתוף זהה של תוצרים מסוימים.