reward-model-deberta-v3-large-v2
קוד פתוחOpenAssistantmit2023-02-01
זהו מודל דירוג שלוקח שאלה ותשובה ומחזיר ציון שמנבא מה אדם היה מעדיף. הוא נועד למי שמאמן מודלים בעצמו או צריך למדוד איכות תשובות באנגלית בלי להעסיק בודקים אנושיים.
- 512טוקנים בהקשר
- 1.6 GBמשקל הקבצים
- 15,459הורדות בחודש
- 247לייקים
מה זה
הארכיטקטורה מבוססת על DeBERTa בגרסת large עם עשרים וארבע שכבות, והוא לא מייצר טקסט אלא מסווג אותו. המטרה שלו היא לקבל זוג של שאלה ותשובה ולהוציא ניקוד מספרי בודד. את הניקוד הזה משווים לניקוד של תשובה אחרת לאותה שאלה כדי לדעת מה מוצלח יותר.
הוא אומן על ארבעה מאגרי מידע מוכרים, כולל הנתונים של אנתרופיק ו־WebGPT של OpenAI. בטבלת הביצועים מול דגמים דומים הוא בולט בעיקר במבחן של Anthropic RLHF, שם הוא מגיע לדיוק של 69.25 אחוזים לעומת פחות מ־56 אחוזים בגרסה הקודמת ובדגמי הבסיס. במבחן הסינתטי כולם מגיעים כמעט למאה אחוז, והיוצרים עצמם מודים שיש שם דפוס שטחי שהופך את המשימה לקלה מדי.
מתאים ל
- שלב דירוג באימון RLHF
הוא מספק את אות התגמול הדרוש לעדכון המשקלים של מודל יוצר, לפי המדידה מול העדפות אנושיות.
- השוואה ובחירת תשובה ב־QA
מייצרים כמה תשובות מאותו מודל, ובוחרים להציג למשתמש רק את התשובה שמקבלת את הציון הגבוה ביותר.
- זיהוי תגובות פוגעניות
השוואת ציון בין מענה מועיל למענה רעיל לצורך סינון אוטומטי של תשובות בוט לא ראויות.
איפה זה נופל
המגבלה הכי קשה היא אורך הקלט. עם חלון של 512 טוקנים אי אפשר לדרג תשובות ארוכות, שיחות עמוקות או סיכומים של מסמכים מורכבים. אם התוכן נחתך, הציון פשוט לא אמין. בנוסף, המודל אומן רק על אנגלית, כך שאין מה לנסות להריץ עליו טקסטים בעברית. גם הדיוק שלו מוגבל, ב־WebGPT הוא צודק רק ב־61.57 אחוז מהמקרים, מה שאומר שבלא מעט מקרים הוא יפספס לחלוטין את התשובה העדיפה.
שאלות
נפוצות
האם אפשר להשתמש בו כדי לדרג טקסטים בעברית?
המודל הוגדר ואומן על נתונים באנגלית בלבד. אם תזינו לו עברית הטוקנייזר יתקשה מאוד והתוצאות המספריות יהיו חסרות משמעות.
האם הוא מסוגל לכתוב תשובות בעצמו?
לא. זו ארכיטקטורת DeBERTa לסיווג ולא מודל שפה גנרטיבי. הוא מקבל טקסט קיים ופולט מספר בודד שמייצג איכות.
מה ההבדל העיקרי בינו לבין deberta-v3-large הרגיל?
הגרסה הזו מציגה קפיצה משמעותית בדיוק במאגר של אנתרופיק, מ־55.62 אחוז ליותר מ־69 אחוז, מה שהופך אותו לבחירה עדיפה למשימות דירוג כלליות.
איך מריצים
המשקל הכולל של הקבצים הוא 1.6 גיגה בייט, כך שלא צריך שרת כבד במיוחד. כרטיס מסך בסיסי עם 8 או 12 גיגה זיכרון יספיק כדי לטעון אותו ב־float32 ולהריץ בדיקות מהירות, ואפשר לעבוד איתו גם על מחשב מקומי סביר דרך ספריית transformers.
אם אתם רק צריכים לסנן מדי פעם פלטים של מודל אחר, הרצה מקומית כזו משתלמת כי אין כאן עלויות ענן שוטפות. הקוד דורש רק טעינה של הטוקנייזר והמודל, חיבור של השאלה והתשובה יחד, ושליפת ערך ה־logits.
from transformers import pipeline
pipe = pipeline("text-classification", model="OpenAssistant/reward-model-deberta-v3-large-v2")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 1.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא MIT, וזה אומר חופש כמעט מוחלט. מותר להשתמש בו לצרכים מסחריים, לשלב אותו במוצר פנימי, לשנות את המשקלים או להפיץ אותו מחדש. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים המקורית של הפרויקט.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש