WebInstructFull

מה זה

מדובר בגרסה המלאה של הדאטהסט מהמחקר של MAmmoTH2, שכולל בין עשרה למאה מיליון רשומות שמיועדות למשימות מענה על שאלות. הנתונים נאספו ישירות מהאינטרנט כדי להגדיל את היקף ההוראות למודלים, במקום להישאר בגבולות של מאגרים קטנים ומפוקחים. כרטיס המאגר לא מפרט אילו שדות בדיוק קיימים בכל רשומה מעבר לצמדי הוראה ותשובה, וגם לא מתאר את תהליך הסינון והניקוי שבוצע ברשת, אלא מפנה למאמר המדעי שפורסם סביבו.

כל המידע מרוכז בחלוקה אחת של אימון, ללא פיצול מובנה לסט בדיקה או ולידציה בתוך המאגר הזה. הנתונים מחולקים לעשרים ותשעה קבצי פארקט שונים כדי לאפשר גישה לחלקים מהמידע בלי לפתוח קובץ אחד בלתי אפשרי. מעבר למאמר ולקוד שנמצאים בקישורים חיצוניים, הכרטיס עצמו דל במידע טכני ולא מפרט מקורות אתרים ספציפיים שמהם נשאבו הטקסטים.

מתאים ל

• אימון הוראות למחקר

  אימון מודלי שפה פתוחים על עשרות מיליוני שאלות ותשובות מהרשת לצורכי בדיקה אקדמית.

• חקר יכולות הכללה

  בדיקת התנהגות של מודלים כשמרחיבים את כמות נתוני האימון מסדרי גודל קטנים לעשרות מיליונים.

• השוואת נתוני רשת מול סינתטי

  בחינה אמפירית של איכות תשובות שנאספו מהאינטרנט בהשוואה לדאטה שנוצר על ידי מודלים סגורים.

איפה זה נופל

הנתונים כולם באנגלית בלבד. אם המטרה שלכם היא מודל שמבין עברית, אין לכם מה לחפש כאן שום דבר מקומי. בנוסף, הכרטיס לא מדווח על תהליכי סינון של תוכן פוגעני, הזיות או שגיאות עובדתיות שנאספו מהרשת, והוא שותק לחלוטין לגבי הטיות אפשריות. אתם מקבלים טקסט גולמי שנאסף מהאינטרנט על כל הבעיות הרגילות של אמינות ודיוק, כך שחובה להריץ בדיקות איכות משלכם לפני שמבססים עליו תוצרים.

איך טוענים

טוענים את המידע ישירות בעזרת ספריית datasets עם הנתיב של המאגר. אין צורך לבקש אישור גישה מיוחד, המאגר פתוח להורדה מיידית. עם זאת, מדובר בעשרים ותשעה קבצי parquet שמרכיבים עשרות מיליוני שורות, אז אל תנסו למשוך את הכל לזיכרון של מחשב אישי רגיל. אם אתם רוצים רק לבדוק את המבנה, עדיף להשתמש בטעינה מוזרמת של השורות הראשונות בלבד כדי לא להיתקע שעות בהורדת עשרות ג'יגה בייטים של מידע.

from datasets import load_dataset

ds = load_dataset("TIGER-Lab/WebInstructFull")

הרישיון

הרישיון הוא CC BY-NC 4.0. המשמעות פשוטה וחד משמעית: אסור לעשות שום שימוש מסחרי בנתונים או להפיק מהם רווח. מותר לחקור, ללמוד ולאמן מודלים לצרכים אקדמיים בלבד, תוך מתן קרדיט למחברים ולמאמרים המקוריים. מודל שתאמנו על הדאטה הזה לא יוכל לשרת מוצר מסחרי, וזה פוסל אותו לחלוטין עבור סטארטאפים וחברות.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗