GoLongRL
קוד פתוחKwai-Klearcc-by-4.02026-05-19
מאגר אימון מבוסס למידת חיזוק שמתמקד בשיפור יכולות הקשר ארוך במודלי שפה. הוא מציע 23 אלף דוגמאות מובנות עם תשעה סוגי פונקציות תגמול מוכנות.
- 502הורדות בחודש
- 23לייקים
מה זה
המאגר כולל 23,000 דוגמאות אימון שנועדו לחדד התמודדות עם טקסטים ארוכים באמצעות Reinforcement Learning. כל רשומה כוללת הנחיה במבנה שיחה, חלוקה לפי קטגוריית יכולת, ומבנה נתונים מפורט לחישוב התגמול. הדוגמאות מחולקות לתשעה סוגי משימות שונים, בהתאם לפונקציות התגמול שהוגדרו במחקר הנלווה.
המבנה הפנימי של התוויות משתנה לפי סוג המשימה. בחלק מהמקרים התשובה הנכונה היא רשימת מזהי מסמכים שנועדה למדדים כמו F1 או NDCG, ובחלקן האחר מדובר במחרוזת טקסט פשוטה לשאלות רב-ברירה והשלמת משפטים. הכרטיס אינו מפרט את מקורות האיסוף הגולמיים שמהם נבנו הטקסטים, אך מציג תיוג מלא של פונקציות התגמול והשאלות.
מתאים ל
- אימון RL להקשר ארוך
כוונון מודלי שפה קיימים להתמודדות עם טקסטים ארוכים באמצעות אלגוריתמים כמו GRPO.
- בניית מודלי תגמול
פיתוח פונקציות תגמול ייעודיות לתשע יכולות שונות בעבודה עם מסמכים ארוכים.
- אחזור ודירוג מסמכים
אימון מודלים לזיהוי מדויק של מזהי מסמכים רלוונטיים מתוך הקשר רחב לפי מדדי דירוג.
איפה זה נופל
החיסרון המרכזי כאן הוא מגבלת השפות. שדה השפה מגביל את כלל הנתונים לשתי שפות בלבד, אנגלית וסינית, כך שאין כאן שום כיסוי לעברית או לשפות אחרות. בנוסף, כרטיס הדאטהסט לא מפרט מה מקור הטקסטים הארוכים, איך הם סוננו, או האם קיימות הטיות תוכן ומגבלות זכויות יוצרים על הטקסטים המקוריים ששימשו כבסיס לשאלות. חסר גם מידע על התפלגות אורכי הטקסט בפועל בתוך 23 אלף הדוגמאות.
שאלות
נפוצות
האם המאגר כולל עברית?
לא. שדה השפה ברשומות מוגדר באופן קשיח לשני ערכים בלבד, אנגלית או סינית. אם אתם מחפשים לאמן יכולות הקשר ארוך בעברית, הנתונים כאן לא יסייעו ישירות.
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
הרישיון המוצהר הוא cc-by-4.0, שמתיר שימוש מסחרי מלא כל עוד אתם נותנים קרדיט ליוצרים. לצד זאת, היות שמקורות הטקסט הגולמי לא פורטו בעמוד, כדאי לוודא שאין סיכוני זכויות יוצרים על התכנים עצמם.
באיזה פורמט שמורים הנתונים וכמה הם שוקלים?
הנתונים מאורגנים ב־11 קובצי Parquet שונים ומיועדים לטעינה ישירה דרך Hugging Face. הדוגמאות בנויות במבנה הודעות שיחה, יחד עם שדות מוגדרים מראש עבור התוויות ופונקציות התגמול.
לאיזה סוגי משימות המאגר מתאים?
הוא מתאים בעיקר לאימון מבוסס למידת חיזוק על מסמכים ארוכים, כגון שאלות ותשובות, רב-ברירה ושליפת מסמכים. התוויות מספקות תשובות מחרוזת או רשימות מזהים לפי סוג המשימה.
איך טוענים
טוענים את הנתונים ישירות דרך הספרייה הרשמית של Hugging Face בפקודת load_dataset רגילה עם שם המאגר. הגישה חופשית לגמרי ואין צורך בהרשאה מיוחדת או באישור גישה מראש. המאגר מפוצל ל־11 קובצי Parquet שונים תחת ספריית המידע ומכיל סך הכל 15 קבצים. לפני שמתחילים לאמן, שימו לב למבנה המשתנה תחת שדות reward_model ו־extra_info. שדה היכולת מגדיר איך לקרוא את התווית הנכונה, כמזהי מסמכים או כמחרוזת בודדת, ושדה השאלה מופרד מההקשר הארוך.
from datasets import load_dataset
ds = load_dataset("Kwai-Klear/GoLongRL")הרישיון
המאגר פורסם ברישיון cc-by-4.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, ואינו מחייב אתכם לשחרר מודל שאומן עליו תחת אותו הרישיון. התנאי היחיד הוא מתן קרדיט מתאים ליוצרים וציון הרישיון המקורי. עם זאת, מכיוון שהטקסטים המקוריים הגיעו ממקורות חיצוניים שלא פורטו בכרטיס, יש לבדוק היטב היבטי זכויות יוצרים של חומרי המקור לפני שמשלבים אותם במוצר מסחרי.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס