instruct-v3
קוד פתוחmosaicmlרישיון לא דווח2023-06-17
אוסף הוראות באנגלית שנועד לאימון מודלים על טקסטים ארוכים במיוחד. המאגר משלב שיחות, מתמטיקה, שאילתות קוד וסיכומים ממקורות שונים במבנה אחיד.
- 339הורדות בחודש
- 35לייקים
מה זה
המאגר מאגד נתונים מעשרה מקורות שונים שעברו המרה למבנה אחיד של אלפקה. החלק הארי בכמות הדוגמאות מגיע מגרסה מעובדת של דולי בשילוב נתוני שיחה של אנתרופיק, שתופסת יותר משישים אחוז מסך הרשומות. לצד זה שולבו סטים של שאלות מתמטיות, הבנת הנקרא, תסריטים, מאמרים אקדמיים ותרגום שאילתות לשפת אסקיואל.
ההבדל בין כמות הדוגמאות לנפח הטוקנים בפועל קיצוני. רוב הרשומות קצרות, אבל עיקר הטוקנים מגיעים דווקא ממאגרי הבנת הנקרא והסיכום כמו קוואליטי, קספר ודיואורק, שכוללים קטעי קריאה ארוכים מאוד. במהלך העיבוד הצוות סינן כפילויות, חתך לפי אורך, הוסיף הוראות מותאמות למשימות סיכום ושאלות, ואף שתל שגיאות כתיב ושינויי אותיות כדי לדמות קלט אנושי אמיתי.
מתאים ל
- אימון הוראות להקשר ארוך
מתאים לכוונון מודלים שצריכים להתמודד עם קריאת מאמרים, תסריטים וטקסטים מרובי פסקאות באנגלית.
- פתרון בעיות מתמטיקה וקוד
משלב דוגמאות מובנות מתוך מאגרי תחרויות מתמטיות ותרגום פקודות לשפת אסקיואל.
- סיכום שיחות וטקסטים
שימושי למודלים שמיועדים לתמצות דיאלוגים מורכבים ושליפת מידע מתשובות ארוכות.
איפה זה נופל
המאגר כולו באנגלית בלבד ואין בו מילה אחת בעברית. אם המטרה שלכם היא מודל רב לשוני, תצטרכו לתרגם הכל או להביא נתונים אחרים. מעבר לכך, מדובר בהרכבה של מקורות שונים עם סגנונות כתיבה משתנים, וההחלטה של היוצרים להכניס בכוונה שגיאות הקלדה עשויה לפגוע במודלים שדורשים דיוק טקסטואלי גבוה. החלוקה הפנימית גם לא מאוזנת, תחום השאילתות למסדי נתונים מקבל פחות מאחוז בודד מנפח הטוקנים בעוד הבנת טקסטים ארוכים תופסת כמעט את הכל.
שאלות
נפוצות
האם אפשר להשתמש בדאטהסט הזה למודל מסחרי?
הטקסט מציין רישיון סיסי ביי אסאיי 3.0 שדורש שיתוף זהה. המשמעות היא שאם אתם משחררים מודל שאומן עליו, ייתכן שתחויבו לפתוח אותו תחת אותו רישיון בדיוק. עדיף להתייעץ עם גורם משפטי לפני שמשלבים אותו במוצר סגור.
האם יש בו תמיכה בעברית?
לא, הנתונים כולם באנגלית. כל המקורות שאוגדו בו, מהתסריטים ועד השאלות המתמטיות, נכתבו במקור בשפה האנגלית בלבד.
איך המידע הזה נאסף בפועל?
החוקרים לקחו נתונים קיימים מכעשרה מקורות ציבוריים מוכרים, כמו ויקיפדיה ומאגרי שאלות, ואיחדו אותם. הם המירו הכל למבנה אלפקה, סיננו כפילויות, ואף הוסיפו שגיאות כתיב במכוון כדי לדמות קלט משתמש טבעי.
במה הוא שונה מדאטהסטים אחרים של פקודות?
הייחוד כאן הוא המיקוד בהקשרים ארוכים במיוחד. בזמן שמאגרים סטנדרטיים מורכבים משאלות ותשובות קצרות, כאן עיקר הטוקנים מוקדש למאמרים מדעיים, תסריטים וסיפורים מלאים.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית הדאטהסטס הרגילה בפייתון, בלי צורך לבקש אישורי גישה מוקדמים או להמתין למפתח. המאגר כולל ארבעה קבצים, והמידע עצמו מחולק לפיצול אימון ובדיקה בקובצי פארקט מוכנים. לא תצטרכו להמיר פורמטים ידנית כי כל הדגימות כבר יושבות בתצורת אלפקה המוכרת של הוראה, הקשר ותשובה. כדאי לשים לב שאף על פי שמספר הדוגמאות הכולל עומד על עשרות אלפים בודדות, נפח הטוקנים בפיצולים מסוימים כבד מאוד בגלל טקסטים ארוכים, מה שדורש בדיקה מראש של זיכרון הוידאו וחלון ההקשר במודל שלכם.
from datasets import load_dataset
ds = load_dataset("mosaicml/instruct-v3")הרישיון
למרות שבפרטי המאגר הרשמיים לא צוין רישיון במפורש, הטקסט החופשי קובע שימוש תחת רישיון פתוח של סיסי ביי אסאיי 3.0. המשמעות היא שמותר להשתמש במידע ולשנות אותו, אך חלה חובת ייחוס ליוצרים וכל עבודה נגזרת חייבת להיות מופצת תחת אותו רישיון שיתוף בדיוק. למודל מסחרי סגור זה עשוי להוות סיכון משפטי ברור.