JMTEB
קוד פתוחsbintuitionscc-by-sa-4.02024-03-11
המאגר מאגד 28 דאטהסטים ביפנית ומספק בנצ׳מרק מקיף למודלי אמבדינג בחמש משימות שונות. מי שמפתח חיפוש, קלסיפיקציה או אחזור בשפה היפנית ימצא כאן את התשתית המסודרת ביותר להערכת ביצועים.
- 2,444הורדות בחודש
- 19לייקים
מה זה
המאגר כולל איסוף מגוון של טקסטים ביפנית המחולקים לחמש משימות עיקריות: קלסטרינג, קלסיפיקציה, דמיון סמנטי, אחזור ודירוג מחדש. הרשומות מורכבות משאילתות, פסקאות, כותרות ומסמכים מלאים, בהתאם לדאטהסט הספציפי. המקורות מגוונים מאוד וכוללים טקסטים מאתרי חדשות כמו Livedoor, ביקורות מוצרים מאמזון, פוסטים מרשתות חברתיות, שיחות עם אלקסה, שאלות ותשובות מאתרים ממשלתיים, מאמרים אקדמיים מתחום עיבוד השפה הטבעית, ושאילתות מתוך ויקיפדיה.
חלק מהנתונים עברו התאמות מיוחדות לצורך הבנצ׳מרק. בנתוני סנטימנט ביפנית הוסרו רווחים מלאכותיים שנוצרו בניתוח מורפולוגי מקורי כדי להחזיר את הטקסט למבנה טבעי. בדאטהסטים אחרים, כמו נתוני המאמרים האקדמיים והשאלות הממשלתיות, החוקרים ערבבו כותרות, תקצירים ומבואות כדי לייצר משימות התאמה סמנטית. במאגר JaCWIR נעשה שימוש בתיאורי עמודים מאתר הסימניות Hatena בשילוב שאלות שנוצרו באמצעות ChatGPT 3.5.
מתאים ל
- הערכת מודלי אמבדינג ביפנית
הרצת סקריפט ההערכה לבדיקת דיוק המודל בחמש משימות שונות במקביל.
- אימון מנועי חיפוש ואחזור
שימוש בקורפוסי הענק של ויקיפדיה והאתרים הממשלתיים לטיוב מערכות RAG ביפנית.
- סיווג כוונות וסנטימנט
בניית מודלים לזיהוי כוונות משתמש ורגשות על בסיס נתוני אלקסה ורשתות חברתיות.
איפה זה נופל
המאגר מיועד אך ורק ליפנית, כך שאין בו שום רלוונטיות לעברית או לשפות אחרות. חלק מהמקורות ישנים יחסית, כמו נתוני החדשות מ־2012, וישנם נתונים שתורגמו ישירות מאנגלית כמו JSICK ו־SIB200, מה שעלול לייצר ניסוחים פחות טבעיים. בנוסף, JaCWIR מבוסס על שאלות סינתטיות שנוצרו על ידי מודל שפה, וחלק מנתוני האימון כוללים הגבלות שימוש לצרכים לא מסחריים בלבד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון הכללי הוא CC BY-SA 4.0, אך המאגר מורכב מאוסף דאטהסטים שלחלקם תנאים מגבילים. נתוני האימון של JAQKET מוגבלים למחקר לא מסחרי בלבד, ומאגר Livedoor מוגן ברישיון ללא יצירות נגזרות. לשימוש מסחרי חובה לבודד ולהשתמש רק בתתי המאגרים שמתירים זאת, כמו אלו שברישיון Apache-2.0 או CC-BY.
האם יש במאגר טקסטים בעברית?
לא, המאגר מוקדש כולו לשפה היפנית בלבד. כל הטקסטים, השאילתות והמסמכים כתובים ביפנית ומיועדים להערכת מודלים בשפה זו. למפתחים שעובדים בעברית אין כאן נתונים רלוונטיים.
מאיפה הגיעו הנתונים שנמצאים בפנים?
הנתונים נאספו מ־28 מקורות שונים ברשת היפנית. הם כוללים דיווחי חדשות של Livedoor, ביקורות קונים מאמזון, פקודות קוליות של משתמשי אלקסה, שאילתות מ־Hatena, מסמכים ממשלתיים ומאמרים מכתב העת היפני לעיבוד שפה טבעית.
במה הוא שונה מ־MTEB הרגיל?
הוא מתבסס על אותה מתודולוגיה של MTEB אבל ממוקד לחלוטין באתגרים הייחודיים של השפה היפנית. הוא מחליף את המשימות הרב-לשוניות הכלליות בקורפוסים מקומיים אותנטיים, ומבטל פיצולים מלאכותיים של מילים שנוצרו בעיבודים מוקדמים.
איך טוענים
הנתונים שמורים בפורמט Parquet בחלוקה לתיקיות לפי 28 הדאטהסטים השונים, לצד קובצי סקריפטים בגיטהאב שמריצים את ההערכה בפקודה אחת. אין צורך באישור גישה כדי להוריד את הקבצים. לפני שטוענים, קחו בחשבון שמשימות האחזור והדירוג כוללות קורפוסים ענקיים של מיליוני מסמכים, כמו קורפוס ויקיפדיה בנתוני Mr.TyDi-ja שמכיל מעל שבעה מיליון מסמכים. שדות המפתח משתנים לפי המשימה, כאשר באחזור תעבדו בעיקר מול מזהי שאילתות וטקסט מסמך, ובקלסיפיקציה מול טקסט ותוויות סיווג.
from datasets import load_dataset
ds = load_dataset("sbintuitions/JMTEB")הרישיון
המאגר מוגדר תחת רישיון CC BY-SA 4.0, שמתיר שימוש מסחרי אך דורש מתן קרדיט ושיתוף של נגזרות תחת אותו רישיון בדיוק. המלכוד האמיתי מסתתר בפנים: חלק מתת-הדאטהסטים מגיעים עם רישיונות נפרדים, כולל CC BY-ND 2.1 בחדשות Livedoor והגבלה מפורשת למחקר לא מסחרי בלבד בנתוני האימון של JAQKET. אם אתם מאמנים מודל מסחרי, תצטרכו לסנן החוצה את החלקים האלה.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון