Vietnamese-THUIR-T2Ranking-gg-translated

מה זה

המאגר מבוסס על T2Ranking הסיני, בנצ'מרק ידוע לאחזור פסקאות, ותורגם לווייטנאמית באמצעות גוגל תרגום בהשראת פרויקט mMARCO. הוא כולל אוסף של 2,303,643 פסקאות שמחולקות על פני שבעה קבצי tsv, כאשר כל שורה מכילה מזהה פסקה, את הטקסט המקורי בסינית ואת התרגום לווייטנאמית.

בנוסף לפסקאות עצמן, המאגר מספק שאילתות מחולקות לאימון, פיתוח ומבחן. יש כאן 258,042 שאילתות אימון ו־24,832 שאילתות לכל אחד מקובצי הפיתוח והמבחן, גם הן עם המקור הסיני לצד התרגום. עבור שלב הדירוג מחדש והאחזור הראשוני מצורפים קובצי רלוונטיות ייעודיים בפורמט TREC ובפורמט tsv פשוט, לצד מאות מיליוני דוגמאות שליליות שנאספו באמצעות BM25 וכריית דוגמאות קשות.

מתאים ל

• אימון מודלי אחזור

  לימוד מודלי bi-encoder בווייטנאמית לאחזור ראשוני מתוך מאגר גדול באמצעות דוגמאות BM25.

• דירוג מחדש של פסקאות

  אימון cross-encoders לדירוג מדויק של תוצאות חיפוש בווייטנאמית בעזרת הדוגמאות הקשות.

• מחקר שאילתות רב-לשוני

  השוואת ביצועי מודלי אחזור בין סינית לווייטנאמית על בסיס הטקסטים המקבילים.

איפה זה נופל

הבעיה המרכזית והמוצהרת כאן היא השימוש הבלעדי בתרגום מכונה של גוגל ללא עריכה אנושית. המפתחים עצמם מזהירים שחלק מהטקסטים מכילים תרגומים לא מדויקים או ניסוחים לא טבעיים בווייטנאמית. בנוסף, חומרי המקור וההקשרים התרבותיים הם סיניים לחלוטין, מה שיכול להשפיע על רלוונטיות השאילתות בעולם האמיתי. אין פה נתונים בעברית, ולפני שמריצים מודל לייצור כדאי לבדוק ידנית מדגם של פסקאות מתורגמות ולוודא שהרעש הלשוני לא פוגע בדיוק התוצאות.

איך טוענים

מורידים את הקבצים ישירות באמצעות git lfs ממאגר Hugging Face, ללא צורך בהרשמה מוקדמת או אישור גישה. מדובר ב־21 קבצים בסך הכל. חשוב לשים לב שקובצי הדוגמאות השליליות, train.bm25.tsv ו־train.mined.tsv, כוללים מעל 200 מיליון שורות כל אחד, כך שיידרש נפח אחסון משמעותי וזיכרון עבודה מתאים כדי לעבד אותם. הקבצים בפורמט tsv פשוט, והשדות העיקריים לטעינה הם pid, qid, text_vi ו־text_zh.

from datasets import load_dataset

ds = load_dataset("5CD-AI/Vietnamese-THUIR-T2Ranking-gg-translated")

הרישיון

המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של המידע, ללא חובת שיתוף תחת אותו רישיון. המשמעות היא שאתם יכולים לאמן עליו מודלים למוצרים מסחריים סגורים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים עצמם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗