mix-instruct
קוד פתוחllm-blendermit2023-05-31
המאגר מרכז תשובות של 11 מודלי שפה שונים לאותן הוראות, יחד עם ציוני איכות והשוואות זוגיות. הוא נבנה עבור מי שרוצה לאמן מודל דירוג או לפתח מערכות שמשלבות פלטים מכמה מקורות במקביל.
- 662הורדות בחודש
- 37לייקים
מה זה
כל רשומה מציגה הוראה מסוימת ולצדה 11 תשובות שנוצרו על ידי מודלים פתוחים מוכרים מאותה תקופה, ביניהם Vicuna, Alpaca, Dolly V2, Open Assistant, Baize ונוספים. לצד הפלטים עצמם, החוקרים חישבו והצמידו מדדי הערכה אוטומטיים מקובלים כמו BLEU, ROUGE, BERTScore וכן BARTScore, מה שמאפשר לבחון את ביצועי המודלים השונים על אותם קלטים בדיוק.
הנתונים מחולקים מראש לקובצי אימון, ולידציה ובדיקה בפורמט שורות ג'ייסון. סט הבדיקה כולל תוספת ייחודית של השוואות זוגיות ישירות שהופקו באמצעות ChatGPT עבור 4,771 דוגמאות מתוך הסט. יתר 229 הדוגמאות בחלק הבדיקה לא קיבלו דירוג כזה בגלל סינון מובנה בממשק ה־API של OpenAI, ולכן השדה הרלוונטי מכיל בהן ערך ריק.
מתאים ל
- אימון מודלי תגמול ודירוג
לימוד מדרגים לבחירת הפלט הטוב ביותר מתוך כמה אפשרויות שנוצרו במקביל.
- פיתוח מערכות אנסמבל
שילוב תשובות מכמה מודלי שפה שונים כדי להרכיב מענה אחד מדויק יותר.
- בנצ'מרק השוואתי למודלים
בחינת יכולות של מודלים חדשים מול ביצועי 11 מודלים פתוחים על אותן משימות.
איפה זה נופל
כל הנתונים באנגלית בלבד, ואין כאן ייצוג לעברית או לשפות אחרות. המודלים שנבדקו פורסמו סביב מאי 2023, כך שארכיטקטורות מודרניות וחזקות יותר של השנים האחרונות כלל אינן מיוצגות כאן. בנוסף, ההשוואות האיכותיות בסט הבדיקה נשענות באופן בלעדי על שיפוט של ChatGPT, מה שמכניס הטיות מובנות של מודל יחיד, לצד אובדן של 229 דוגמאות שנפסלו בסינון התוכן של ה־API.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
כן, רישיון MIT מתיר שימוש מסחרי מלא, כולל אימון מודלים שיוטמעו במוצרים סגורים. כל מה שנדרש לפי תנאי הרישיון הוא להשאיר את הצהרת זכויות היוצרים המקורית.
האם יש במאגר טקסטים בעברית?
לא, המאגר כולל אך ורק נתונים בשפה האנגלית. מפתחים שמחפשים לאמן יכולות בעברית יצטרכו לתרגם את המאגר או להשתמש במקורות מידע אחרים.
איך בוצעה הערכת האיכות של התשובות?
החוקרים הריצו מדדים אוטומטיים מוכרים כמו BLEU, ROUGE ו־BERTScore על כלל הנתונים. בנוסף, בסט הבדיקה הם השתמשו ב־ChatGPT כדי להשוות ראש בראש בין תשובות של זוגות מודלים שונים.
מדוע חלק מההשוואות בסט הבדיקה חסרות?
עבור 229 דוגמאות בסט הבדיקה, התוכן נחסם על ידי מנגנוני הסינון של ה־API של ChatGPT. בדוגמאות אלה שדה ההשוואה מחזיר ערך ריק ולא ניתן לראות בו דירוג יחסי.
איך טוענים
טוענים את הקבצים ישירות דרך ספריית datasets או בקריאה פשוטה של קובצי JSONL, ללא צורך באישור גישה או במפתח מיוחד. המאגר מכיל חמישה קבצים, כולל test_data_prepared.jsonl, train_data_prepared.jsonl ו־val_data_prepared.jsonl, בסדר גודל כולל שנע בין 100 אלף למיליון רשומות.
כשעובדים עם סט המבחן, שדה ההשוואות cmp_results שמור בפועל כמחרוזת טקסט מקודדת, ולכן חובה להריץ עליו פיענוח ג'ייסון סטנדרטי בקוד לפני השימוש. אם מופיע ערך null, מדובר בדוגמה שנחסמה בבדיקה האוטומטית ולא מכילה שיפוט השוואתי.
from datasets import load_dataset
ds = load_dataset("llm-blender/mix-instruct")הרישיון
המאגר מופץ תחת רישיון MIT, שמאפשר שימוש חופשי כמעט לחלוטין, כולל אימון מודלים לצרכים מסחריים, שינוי הנתונים והפצה מחדש. הדרישה היחידה היא שמירה על הודעת זכויות היוצרים והרישיון המקורי. אין חובה לשתף פיתוחים עתידיים באותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש