ultrafeedback-binarized-preferences
קוד פתוחargillaרישיון לא דווח2023-11-15
המאגר מציע זוגות של העדפות בינאריות שעברו תיקון, לאחר שהתגלה באג במאגר המקורי שנתן ציונים מושלמים לתשובות גרועות. הוא נועד למי שמאמן מודלים ולא רוצה להאכיל אותם בזבל מתויג.
- 456הורדות בחודש
- 84לייקים
מה זה
במאגר UltraFeedback המקורי ובגרסאות כמו זו של Zephyr, שדה הציון הכולל סבל מבאג בקוד: מודל הביקורת חילק ציון עשר לתשובות שקיבלו בפועל ציון אחת וביקורת שלילית לחלוטין. ארגילה גילו את הכשל הזה ובנו מחדש את בחירת התשובה המועדפת על בסיס ממוצע דירוגי ההעדפה לפי היבטים כמו כנות ועמידה בהוראות, בסולם של אחת עד חמש במקום אחת עד עשר.
כל רשומה מכילה את התשובה הטובה ביותר שנבחרה לפי הממוצע הזה, לצד תשובה שנדחתה ונבחרה באקראי מבין התשובות עם הציון הנמוך יותר, תוך שמירה על כל ההשלמות למי שרוצה לחתוך את המידע אחרת. מקרים של שוויון בין התשובות סוננו החוצה. לפי הבדיקה של הצוות, המעבר לחישוב ממוצע שינה את התשובה הנבחרת בכשלושים אלף מתוך שישים ושלושה אלף מקרים, ומנע בחירה של תשובות ממודלים חלשים.
מתאים ל
- אימון מודלים בשיטת DPO
אימון ישיר על זוגות של תשובה מועדפת ונדחית, בלי להסתכן בבחירת תשובות נחותות שקיבלו ציון עשר בגלל באג.
- בניית מודלי תגמול
שימוש בדירוגים הממוצעים לכיול של Reward Model שצריך להבדיל בין איכות גבוהה לפגמים בעמידה בהנחיות.
- יצירת חיתוכי העדפה מותאמים
הישענות על כלל ההשלמות השמורות ברשומה כדי לייצר זוגות השוואה לפי קריטריונים ספציפיים ולא רק אקראיים.
איפה זה נופל
הכרטיס לא מדווח על תמיכה בעברית, ומאחר שמדובר בעיבוד של UltraFeedback הנתונים ממוקדים באנגלית בלבד. בנוסף, מנגנון בחירת התשובה הדחויה מסתמך על הגרלה אקראית מבין התשובות הנחותות ולא על התשובה הגרועה ביותר, מה שיכול להקטין את הפער הלימודי בחלק מהדוגמאות. התיקון כולו מסתמך על ממוצע של ציונים אוטומטיים אחרים, כך שאם גם שם יש הטיות של המודלים המדרגים, הן עדיין קיימות בפנים.
שאלות
נפוצות
האם המאגר מתאים לאימון מודל מסחרי?
לא מומלץ בשלב זה, כי בעמוד לא צוין רישיון שימוש כלל. היעדר תנאים ברורים חושף חברות לסיכוני זכויות יוצרים, ולכן עדיף להמתין להסדרת הרישיון לפני שמכניסים אותו לפס ייצור.
האם יש במאגר נתונים בעברית?
המאגר מבוסס על UltraFeedback ולפי התיעוד הנתונים הם באנגלית בלבד. אם אתם מחפשים לשפר ביצועים של מודל בעברית, המאגר הזה לא ייתן מענה ישיר.
במה הוא שונה מגרסת ה־binarized של HuggingFaceH4?
הגרסה של H4 בחרה תשובות לפי הציון הכולל המקורי שהכיל באג והקפיץ תשובות רעות לציון עשר. ארגילה זרקו את השדה הזה, חישבו ממוצע לפי קריטריונים מפורטים בסולם של אחת עד חמש, ובחרו את התשובות מחדש, מה ששינה את התוצאה בכשלושים אלף דוגמאות.
כמה שוקל המאגר ואיך ניגשים אליו?
המאגר קומפקטי ומכיל קובץ Parquet בודד בתוך תיקיית data, לצד קובץ התיעוד. הגישה אליו חופשית לחלוטין ללא צורך בהרשמה או באישור מקדים.
איך טוענים
הנתונים יושבים בקובץ Parquet יחיד בתיקיית data לצד התיעוד, כך שטוענים אותו ישירות דרך ספריית datasets בלי צורך לבקש אישורי גישה או להמתין. השדות המרכזיים שצריך לשים לב אליהם הם התשובה שנבחרה לפי ממוצע הדירוגים, התשובה האקראית שנבחרה לדחייה, ודירוגי ההעדפה המפורטים ששימשו לחישוב. מי שרוצה לבחון את המקרים הבעייתיים בעיניים יכול לגשת למרחב הפתוח שהם העלו בהאגינג פייס.
from datasets import load_dataset
ds = load_dataset("argilla/ultrafeedback-binarized-preferences")הרישיון
היוצרים לא דיווחו על רישיון בעמוד המאגר. מבחינה משפטית, היעדר רישיון מוגדר משאיר את השימוש בו באזור אפור ומסוכן, במיוחד לפרויקטים מסחריים או לאימון מודל שמתכוונים למכור או להפיץ. אם אתם בונים מוצר מסחרי בישראל או בחוץ לארץ, אי אפשר להסתמך עליו עד שהיוצרים יבהירו את תנאי השימוש.