ChatQA2-Long-SFT-data
קוד פתוחnvidiacc-by-nc-2.02024-09-08
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
חבילת נתונים להוראות בהקשר ארוך ומענה על שאלות מתוך טקסטים מורכבים. היא מתאימה למי שמאמן מודלים לטיפול במסמכים כבדים ובמשימות שליפה מורכבות.
- 480הורדות בחודש
- 38לייקים
מה זה
המאגר מחולק לשתי תצורות נפרדות, שתיהן נשענות על קובצי ג'ייסון עבור אימון ובדיקה. החלק הראשון מכונה long_sft, והוא נבנה משילוב של מקורות קיימים: נתוני LongAlpaca12k, דגימות של GPT-4 מתוך פרויקט Open Orca, ואוספים מתוך Long Data Collections של Together. הרשומות האלו מיועדות לכוונון הוראות שמחייב הבנה של רצפי טקסט ארוכים ושיחה מרובת שלבים סביב הקשר רחב.
החלק השני נקרא NarrativeQA_131072, והוא עיבוד סינתטי שמבוסס על הדאטהסט NarrativeQA. כדי לייצר הקשר ארוך ומאתגר שמגיע להיקף ענק, החוקרים הוסיפו פסקאות רלוונטיות לתקצירי האמת הקיימים. בסך הכל המאגר מציע בין עשרת אלפים למאה אלף דוגמאות אימון, שנועדו לשלב השלישי והאחרון בתהליך הכוונון של מודל ChatQA2, שבו מחזקים את היכולת של המודל לעבוד עם חלונות קונטקסט גדולים במיוחד.
מתאים ל
- אימון מודלים להקשר ארוך
כוונון מודלים לשמירה על דיוק ועקביות בשיחה מול מסמכים ארוכים מאוד.
- שיפור ביצועי RAG
אימון המערכת לחילוץ תשובות מתוך פסקאות מרובות שהוחזרו משליפה.
- מחקר על שאלות ותשובות
בדיקת יכולות הבנת הנקרא סינתטית ומורכבת מול נתוני NarrativeQA מורחבים.
איפה זה נופל
כל הנתונים במאגר הם באנגלית בלבד, כך שאין כאן שום כיסוי לעברית או לשפות אחרות. מעבר לכך, חלק ניכר מהדוגמאות נוצר באופן סינתטי או מבוסס על פלטים של מודלי OpenAI, מה שעלול לשמר הטיות או דפוסי ניסוח ספציפיים שלהם. החומרים נאספו ממקורות שונים ברשת ולא מדווח על תהליך סינון ידני קפדני של עובדות, כך שחובה לבדוק איכות והזיות לפני שמסתמכים על המבנה למחקר.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא. הרישיון הוא cc-by-nc-2.0, שמונע שימוש מסחרי מכל סוג. בנוסף יש מגבלות של תנאי השימוש של OpenAI על פלטים סינתטיים.
האם יש כאן תמיכה בעברית?
לא, הדאטהסט כולו מוגדר וקיים בשפה האנגלית בלבד. אם המטרה היא אימון לעברית, תצטרכו לתרגם את הנתונים או לפנות למקורות אחרים.
מאיפה הגיעו הנתונים של המאגר?
החלק של long_sft מורכב מחיבור של LongAlpaca12k, דגימות GPT-4 מ־Open Orca, ומאגרים של Together. החלק של NarrativeQA הורחב סינתטית בעזרת פסקאות נוספות סביב תקצירי האמת.
באיזה שלב של האימון משתמשים בחומר הזה?
לפי התיעוד של אנבידיה, הנתונים האלה נועדו לשלב השלישי של תהליך הכוונון. בשלב זה מערבבים אותם ביחס גבוה יחד עם נתוני SFT קצרים יותר כדי לבנות את יכולות ההקשר הארוך.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות ציון שם התצורה הרצויה, long_sft או NarrativeQA_131072. אין צורך בבקשת גישה מיוחדת, הקבצים פתוחים להורדה ישירה מתוך שישה קבצים במאגר. כל תצורה מגיעה מחולקת מראש לקובצי train ו־dev בפורמט ג'ייסון, כאשר השדות המרכזיים מתמקדים בשאלות, תשובות והקשרים ארוכים.
from datasets import load_dataset
ds = load_dataset("nvidia/ChatQA2-Long-SFT-data")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-2.0, מה שאומר שהשימוש מוגבל למטרות לא מסחריות בלבד, עם חובת ייחוס ליוצרים. בנוסף, בגלל שחלק מהנתונים מבוססים על GPT-4, השימוש כפוף לתנאי השימוש של OpenAI. לא תוכלו להשתמש בזה כדי לאמן מודל שמיועד למוצר מסחרי, אלא רק למחקר ופיתוח פנימי.