RubricHub_v1

מה זה

הנתונים כוללים כ־110 אלף רשומות המחולקות לשני שימושים עיקריים באימון: שלב כוונון עדין ושלב למידת חיזוק. המידע מחולק לקובצי פארקט לפי תחומים כמו שיחה, מדע, רפואה, כתיבה ומעקב אחר הוראות. כל דוגמה כוללת הנחיות יחד עם מחווני הערכה מפורטים, שבהם לכל קריטריון נקבע משקל ייעודי.

בחלקי הכוונון העדין תמצאו שאלות, תשובות שנבחנו, ציונים משוקללים ופירוט מלא של שיפוט המענה לפי כל קריטריון. בחלקי למידת החיזוק, הנתונים הותאמו למבנה תואם ספריות כמו verl, עם הגדרות מובנות להערכת תוצאות, סגנון ואמיתות התשובה. כל המחוונים הללו נבנו באופן סינתטי ואוטומטי באמצעות שילוב בין מספר מודלים ופיתוח רמות קושי.

מתאים ל

• אימון מודל תגמול מדויק

  בניית מודלי הערכה מבוססי רובריקות מפורטות במקום ציון מספרי בודד, בעזרת פירוט הקריטריונים והמשקלים.

• כוונון עדין מונחה איכות

  אימון מודלי שיחה ומדע על 26 אלף הדוגמאות הטובות ביותר שנבחרו וסוננו לפי ציוני המחוון.

• למידת חיזוק למשימות פתוחות

  הרצת תהליכי אופטימיזציה עם verl או RuscaRL תוך שימוש במבנה התגמול המוגדר בקובצי האימון.

איפה זה נופל

הנתונים קיימים באנגלית ובסינית בלבד, כך שאין כאן עברית כלל. מעבר לזה, כל מחווני הניקוד נוצרו בצורה אוטומטית וסינתטית בעזרת מודלי שפה, מה שמכניס הטיות מערכתיות של המודלים המייצרים. אם אתם עובדים על תחומים רגישים כמו רפואה, שנכללת במאגר, תצטרכו בדיקה אנושית צמודה לפני שתסמכו על חוקי הניקוד האוטומטיים.

איך טוענים

המאגר פתוח להורדה ישירה ללא צורך בהרשאה מוקדמת או מפתחות גישה. הוא כולל תשעה קבצים בפורמט פארקט, המחולקים לתיקיות ייעודיות לכל שלב אימון. בשלב הכוונון יש קובץ של 156 אלף דוגמות וקובץ מסונן של 26 אלף המייצג את התשובה הטובה מתוך שש. בשלב למידת החיזוק תעבדו בעיקר עם שדות הפרומפט, הנתונים על יכולת המודל והמילון שמגדיר את מודל התגמול לפי הקריטריונים.

from datasets import load_dataset

ds = load_dataset("sojuL/RubricHub_v1")

הרישיון

המאגר מופץ תחת רישיון אפאצ'י 2.0 המאפשר שימוש מסחרי חופשי, שינוי והפצה. נדרש לשמור על הודעות זכויות היוצרים והרישיון המקורי. השימוש בו לא כופה עליכם לחשוף את קוד המודל שלכם או לשתף תוצרים באותו הרישיון בדיוק.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗