Feedback-Collection
קוד פתוחprometheus-evalcc-by-4.02023-10-13
המאגר מרכז דוגמאות מפורטות של הערכת טקסטים כדי לאמן מודלי שפה לשמש כשופטים. הוא נועד למי שרוצה חלופה מקומית למודלים קנייניים לצורכי מתן ציונים ומשוב על תשובות ארוכות.
- 640הורדות בחודש
- 120לייקים
מה זה
בבסיס המאגר עומדים נתונים שנועדו להקנות למודלים פתוחים יכולת הערכה מדויקת. לפי המפתחים, מודלים פתוחים התקשו להעריך טקסטים ארוכים והראו מתאם נמוך מול בודקים אנושיים ומול GPT-4. כדי לפתור את זה, הם בנו אוסף של משובים שנוצרו על ידי GPT-4 יחד עם חומרי ייחוס שכוללים תשובות ייחוס ומחווני ניקוד.
המאגר כולל 1K מחווני ניקוד, 20K הוראות ותשובות ייחוס, וכן 100K תשובות ומשובים, בחלוקה של 20K לכל ציון בטווח שבין 1 ל־5. בפיצול האימון בפועל רשומות 99,952 דוגמאות. כל רשומה כוללת את חומרי הגלם בנפרד, כמו הוראה מקורית, תשובה לבדיקה, קריטריון ניקוד ותיאור לכל ציון מ־1 עד 5, לצד שדות מעובדים מראש של קלט ופלט שמפרידים בין הטקסט של המשוב לבין הציון הסופי.
מתאים ל
- אימון מודל שופט
כוונון מודל פתוח כדי שייתן ביקורת מילולית וציון מספרי לתשובות לפי מחוון מוגדר מראש.
- דירוג תשובות
הערכה והשוואה בין כמה פלטים שונים של מודלים כדי לבחור את התשובה האיכותית ביותר.
- בדיקת איכות אוטומטית
שילוב המודל המאומן בתהליכי בדיקה כדי לתת ציונים מנומקים לטקסטים ארוכים באנגלית.
איפה זה נופל
הנתונים כולם באנגלית, כך שמי שמחפש להעריך טקסטים בעברית לא יקבל כאן מענה ישיר. מעבר לכך, כל המשובים והציונים מבוססים על פלטים של GPT-4. משמעות הדבר היא שהמודל שתאמנו יירש את ההטיות, העדפות הניסוח וטעויות השיפוט של המודל המקורי, בלי בקרה אנושית ישירה על כל דוגמה ודוגמה.
שאלות
נפוצות
האם יש בדאטהסט תמיכה בעברית?
לא. הדאטהסט כולו מוגדר וכתוב באנגלית בלבד לפי כרטיס המאגר. כדי לעבוד בעברית תצטרכו לתרגם את הנתונים או לייצר סט דומה.
האם מותר להשתמש בזה לפרויקט מסחרי?
הרישיון הרשמי הוא cc-by-4.0 שמתיר שימוש מסחרי תחת מתן ייחוס מתאים. יחד עם זאת, המשובים נוצרו על ידי GPT-4, ולכן מומלץ לבדוק את תנאי השירות של החברה שיצרה אותו לגבי אימון מודלים.
איך נאספו הנתונים במקור?
המשובים והציונים הופקו באמצעות מודל GPT-4 על בסיס מחווני ניקוד ותשובות ייחוס. המטרה הייתה לייצר מאגר מאוזן שכולל 20K דוגמאות לכל ציון בסולם של 1 עד 5.
איך טוענים
הנתונים יושבים במאגר בקובץ new_feedback_collection.json לצד תמונה ותיעוד, ללא צורך באישור גישה מיוחד. אפשר לעבוד ישירות עם השדות המוכנים instruction ו־output אם רוצים לשחזר את הפורמט של מודל Prometheus. השדה output מכיל את המשוב המילולי ואחריו מפריד קבוע שמוביל לציון המספרי, מה שמאפשר לחלץ את הציון בזמן בדיקה בצורה פשוטה.
from datasets import load_dataset
ds = load_dataset("prometheus-eval/Feedback-Collection")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של המידע, בתנאי שנותנים קרדיט מתאים ליוצרים ומציינים אם בוצעו שינויים. עם זאת, היות שהטקסטים נוצרו באמצעות GPT-4, כדאי לוודא שאין התנגשות מול תנאי השימוש של ספק המודל המקורי בנוגע לאימון מודלים מתחרים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס