Long-Instruction-with-Paraphrasing
קוד פתוחyuyijiongcc-by-sa-4.02023-10-21
המאגר כולל הוראות להקשרים ארוכים שנעים בין 4k ל 32k. הוא מיועד לכוונון מודלים כשרוצים שהתשובה תכלול פרפרזה של טקסט המקור.
- 242הורדות בחודש
- 35לייקים
מה זה
הנתונים מחולקים למספר משימות שונות בסינית ובאנגלית. התשובות בכל דוגמה מכילות שלב של פרפרזה על טקסט המקור, אך קיימת במאגר גם גרסה נקייה ללא החלק הזה. החומר מבוסס על שילוב של מספר מאגרי מקור עצמאיים, כולל סיכומי ספרים בסינית, מאמרים אקדמיים, משימות שאלות ותשובות על מסמכים מרובים מתוך CommonCrawl, ושיחות ארוכות מתוך ShareGPT.
המאגר עבר עדכון שבו נוספה גרסת slim שמקצצת את כמות הדוגמאות מכ 20k לכ 10k. המבנה מופץ כקבצי ארכיון zip נפרדים, ביניהם גרסאות רגילות, גרסאות slim וגרסאות ללא פרפרזה, מה שמאפשר לבחור את השילוב המדויק שנחוץ לאימון.
מתאים ל
- אימון מודלים להקשר ארוך
כוונון עדין של מודלי שפה על טקסטים באורך שנע בין 4k ל 32k באנגלית ובסינית.
- שאלות ותשובות מרובות מסמכים
שיפור יכולת השליפה והמענה של מודל על גבי רצף של מקורות מידע ושיחות ארוכות.
- הטמעת פרפרזה מובנית
אימון המודל לנסח מחדש את המקור לפני הפקת התשובה הסופית לבקשת המשתמש.
איפה זה נופל
הטקסטים מוגבלים לחלוטין לסינית ולאנגלית. אין כאן מילה בעברית, ולכן המאגר לא מתאים לאימון ישיר עבור משימות מקומיות. מעבר לזה, חלק ממאגרי המקור מבוססים על גרידות רשת ושיחות ShareGPT, שמביאות איתן רעש אינהרנטי ופוטנציאל למידע סינתטי. אם בונים מערכת שמיועדת לסביבה עסקית, צריך לבדוק היטב את תקינות הפלטים ואת השפעת מרכיב הפרפרזה על אורך התשובה.
שאלות
נפוצות
האם יש במאגר נתונים בעברית?
לא. המאגר מורכב מטקסטים בסינית ובאנגלית בלבד, ואינו כולל שום דגימה בעברית.
ממה נובע ההבדל בין גרסת הבסיס לגרסת ה slim?
גרסת ה slim מצמצמת את כמות הדגימות מכ 20k לכ 10k. היא מיועדת למי שרוצה לבצע אימון מהיר יותר או להחזיק נפח נתונים קטן בהרבה.
האם מותר להשתמש בו למוצר מסחרי?
הרישיון הוא cc-by-sa-4.0, שמאפשר שימוש מסחרי, אך כולל דרישת שיתוף זהה ומחייב מתן קרדיט. אם אתם משנים ומפיצים את הנתונים, תצטרכו לשחרר אותם תחת אותו רישיון.
איך מיוצג מבנה השיחה בקבצים?
הנתונים עברו המרה מפורמט chatml ישן לפורמט messages סטנדרטי. המבנה הזה תואם לעבודה עם apply_chat_template בספריות טוקניזציה מודרניות.
איך טוענים
הקבצים שמורים בארכיון מסוג zip בפורמט messages, מה שמאפשר שימוש ישיר בפונקציה apply_chat_template של הטוֹקנייזר. הפורמט הקודם היה chatml והועבר לענף legacy. אין צורך באישור גישה כדי להוריד את קבצי ה zip שבעמוד, אך חלק ממאגרי המקור הסיניים שממנו הוא מורכב, בעיקר אלה המערבים נתוני CNKI, מוגדרים תחת גישה מוגבלת.
from datasets import load_dataset
ds = load_dataset("yuyijiong/Long-Instruction-with-Paraphrasing")הרישיון
הרישיון המדווח הוא cc-by-sa-4.0. מותר להשתמש במידע גם לפעילות מסחרית ומותר לערוך אותו, אבל חובה לתת ייחוס מתאים ליוצר. תנאי השיתוף הזהה מחייב שכל יצירה נגזרת או הפצה של הנתונים תהיה תחת אותו רישיון בדיוק, נקודה שעלולה לכבול את מי שמתכנן להפיץ מוצר מסחרי סגור על בסיס הנתונים האלה.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון