gem
קוד פתוחGEMother2022-03-02
אוסף מגוון של משימות יצירת טקסט, סיכום והמרת נתונים למילים במספר שפות. מיועד למי שמחפש בנצ'מרק מתוקנן לבחינת מודלי שפה על אתגרים מוגדרים היטב.
- 1,967הורדות בחודש
- 35לייקים
מה זה
המאגר מאגד בתוכו מגוון רחב של תתי מאגרים קיימים שעברו עיבוד והתאמה למבנה אחיד. תמצאו כאן משימות סיכום חדשות כמו mlsum בגרמנית ובספרדית או xsum באנגלית, לצד משימות תרגום וסיכום מבוססות ויקיפדיה כמו wiki_lingua בשפות רבות. יש כאן גם משימות להמרת טבלאות וגרפי נתונים למשפטים שלמים, דוגמת dart, e2e_nlg ו־totto.
המבנה של הרשומות תלוי בתת המאגר הספציפי שתטענו, אך כולן כוללות מזהים ייחודיים דוגמת gem_id, טקסט מטרה ובדרך כלל רשימת ייחוסים להשוואה. חלק מההגדרות כוללות טקסט חופשי, קישורים ותאריכים, ואחרות מכילות ייצוגי משמעות מובנים, שלשות נתונים או תאים מודגשים מתוך טבלאות. הנתונים נאספו ממקורות רשת גלויים, משימות מיקור חושים ומערכי נתונים אקדמיים קודמים, כאשר בחלק מהמקרים יש גם טקסט שנוצר על ידי מכונה.
מתאים ל
- אימון מודלי סיכום
אימון וכיול של מודלים להפקת תקצירים מתוך כתבות חדשות או מדריכים במספר שפות.
- המרת נתונים לטקסט
יצירת תיאורים מילוליים קריאים מתוך גרפים, שלשות נתונים ותאי טבלאות מוגדרים.
- הערכת עמידות מודלים
בדיקת ביצועי יצירת טקסט על סטים מאתגרים של שיבושי קלט וטקסטים מתקופות ספציפיות.
איפה זה נופל
הנתונים כוללים הטיות מובנות שמגיעות מאתרי חדשות ומויקיפדיה, כולל תוכן שנוצר אוטומטית ועשוי להכיל שגיאות עובדתיות. עברית נעדרת לחלוטין מהאוסף, והשפות הנתמכות מתרכזות בעיקר באנגלית, ספרדית, גרמנית, רוסית, צ'כית, טורקית ווייטנאמית. מערכי הבדיקה הייעודיים כוללים דגימות ספציפיות כמו טקסטים מתקופת הקורונה או שיבושי סדר מילים, מה שאומר שהביצועים עליהם עלולים לרדת משמעותית בהשוואה לטקסט רגיל. לא הייתי דוחף מודל שאומן כאן ישר לייצור בלי בדיקה קפדנית של הזיות ואיכות השפה.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
הרישיון הכללי מסומן כ־other ואינו מבטיח שימוש מסחרי חופשי. היות שמדובר באוסף של מקורות שונים, חובה לבדוק את הרישיון המקורי של תת המאגר שמעניין אתכם. שימוש ישיר במוצר מסחרי ללא בדיקה פרטנית חושף אתכם להפרת זכויות של יוצרי המקור.
האם המאגר כולל נתונים בעברית?
המאגר אינו מכיל נתונים בעברית כלל. השפות הזמינות כוללות אנגלית, ספרדית, גרמנית, צ'כית, רוסית, טורקית ווייטנאמית, לצד תצורות מסוימות בערבית או סינית. אם אתם עובדים על פרויקט מקומי, תצטרכו לחפש מקורות חלופיים.
מה מייחד את המאגר הזה מדאטהסטים רגילים של שפה?
הוא מרכז תחת קורת גג אחת משימות מגוונות של יצירת טקסט ומבנה נתונים אחיד. בנוסף לחלוקות הרגילות, הוא מציע חלוקות אתגר מיוחדות לבדיקת עמידות המודל על קלטים משובשים או נושאים נקודתיים. זה חוסך עבודה רבה בהשוואה לאיסוף ידני של כל משימה בנפרד.
כמה שטח אחסון נדרש להורדת הנתונים?
הנפח משתנה לחלוטין לפי התצורה שתבחרו לטעון. תצורות קטנות דורשות מגה בייטים בודדים, בעוד שתצורות סיכום גדולות מגיעות למאות מגה בייטים של הורדה ומעל גיגה בייט לאחר פריסה. מומלץ לטעון רק את התצורה הרלוונטית למשימה שלכם במקום להוריד את הכל מראש.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות הסקריפט המקומי gem.py, תוך ציון שם התצורה המבוקשת כמו mlsum_de או totto. אין צורך בבקשת גישה מיוחדת, אך נפח ההורדה משתנה מאוד בין התצורות, החל ממגה בייטים בודדים במשימות קטנות ועד למאות מגה בייטים למשימות הסיכום הגדולות. השדות הקריטיים לעבודה הם target עבור תוצאת היעד, references לבדיקת מדדים אוטומטיים, והקלט שמשתנה בין text, source, tripleset או table בהתאם לתצורה שבחרתם.
from datasets import load_dataset
ds = load_dataset("GEM/gem")הרישיון
הרישיון הרשמי מוגדר כ־other, מכיוון שהמאגר הוא אוסף של מקורות שונים שכל אחד מהם מחזיק בתנאים משלו. המשמעות היא שאין היתר גורף לשימוש מסחרי, ואי אפשר להניח שמותר לאמן מודל למוצר בלי לבדוק בנפרד את תנאי המקור של התצורה הספציפית. אם אתם בונים מערכת מסחרית, תצטרכו להתחקות אחרי הרישיון המקורי של הדאטהסט הבודד שבו השתמשתם כדי לוודא שאין עליו מגבלות מחקר בלבד או דרישות שיתוף זהות.