LongWriter-Zero-RLData

מה זה

הרשומות במאגר בנויות משאלות והנחיות משתמש באנגלית או בסינית, כשלכל אחת מוצמד טווח אורך מוגדר מראש במילים או בתווים סיניים. המבנה כולל מזהה רץ, את מחרוזת הפרומפט, ותגית שמגדירה גבול תחתון ועליון להיקף הטקסט הרצוי. המטרה היא להכווין מודלים לייצר טקסטים ארוכים במיוחד לפי דרישה.

בנוסף למשימות הכתיבה הארוכות, החוקרים הכניסו פנימה שאלות כלליות כדי לשמר את יכולת ההכללה של המודל ולא לפגוע בביצועים שגרתיים. הכרטיס לא מפרט מה מקור הטקסטים המקורי או איך הם נאספו ונוקו בפועל מעבר להגדרת הטווחים הללו.

מתאים ל

• אימון למידת חיזוק לאורך

  שימוש בתגיות הטווח כפונקציית תגמול כדי לאלץ מודל לייצר תשובות שמגיעות לעשרת אלפים מילים ומעלה.

• בדיקת ציות למגבלות אורך

  בחינת יכולת של מודלים קיימים לעמוד ביעדי היקף כתיבה מוגדרים מראש לפי הנחיה מפורשת.

• אימון כתיבה יוצרת ארוכה

  הרחבת יכולת היצירה של סוכני כתיבה להפקת מאמרים ודוחות מפורטים באנגלית או בסינית.

איפה זה נופל

המאגר מוגבל מראש לשפות אנגלית וסינית בלבד, כך שאין כאן שום ייצוג לעברית. אם תרצו לאמן עליו מודל מקומי, תצטרכו לתרגם את השאלות או לייצר דאטה מקביל. מעבר לזה, הכרטיס דל מאוד ולא חושף מאיפה הגיעו הפרומפטים, האם הם נוצרו באופן סינתטי או נלקחו משיחות אמיתיות, ואין מידע על סינון תוכן פוגעני או בדיקות איכות שבוצעו לפני הפרסום.

איך טוענים

הנתונים מגיעים בקובץ jsonl יחיד בשם LongWriter-Zero-RLData.jsonl, לצד קובץ התיעוד במאגר פתוח לחלוטין ללא צורך באישור גישה. הטעינה נעשית ישירות דרך ספריית datasets הרגילה. כשמעבדים את השורות, שדה המפתח הוא label שמכיל את range, משום שבאמצעותו אפשר לסנן החוצה את שאלות הכלליות, שהטווח שלהן מוגדר מ־0 עד 14000, ולהישאר רק עם משימות הכתיבה הממוקדות.

from datasets import load_dataset

ds = load_dataset("THU-KEG/LongWriter-Zero-RLData")

הרישיון

המאגר מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי ומחקר ללא תשלום. אפשר לשנות, להפיץ ולאמן עליו מודלים חופשי, כל עוד שומרים על הודעת הרישיון ומתן הקרדיט המקורי ליוצרים. הרישיון אינו דורש שיתוף תחת אותו רישיון בדיוק.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗