last-translation-benchmark
קוד פתוחzouharcc-by-4.02026-08-31
המאגר מרכז דוגמאות תרגום קשות במיוחד שנבחנו כדי להכשיל מודלים מובילים. מי שישתמש בו מחפש לבדוק מקרי קצה ותרגומים שנשברים איפה שמבחנים רגילים נותנים ציונים מושלמים.
- 419הורדות בחודש
- 45לייקים
מה זה
בגרסה הראשונה יש 3,456 רשומות שמטרתן לאתגר מודלים קיימים. הנתונים לא נאספו בסריקה רנדומלית, אלא נכתבו על ידי בני אדם ועברו ביקורת עמיתים. כל רשומה כוללת טקסט מקור, שפות מקור ויעד עם קודי ISO, ולעיתים גם הוראות תרגום מיוחדות או קבצי מדיה כמו תמונות, שמע ווידאו שמקודדים ישירות במחרוזת בפורמט base64.
מה שמייחד את המבנה הוא מנגנון הבדיקה. לכל דוגמה מוצמדים חוקי אימות ידניים שקובעים אם תרגום עתידי עומד ברף, לצד תיוג בלשני שמסביר מה מייצר את הקושי בתרגום. הרשומות מחולקות לתגיות משנה: תגית LTBv1 כוללת את כלל הדוגמאות, LTBv1-text מתמקדת בטקסט בלבד, ותגית LTBv1-micro מיועדת לבדיקות מצומצמות יותר.
מתאים ל
- הערכת מקרי קצה בתרגום
בדיקה אובייקטיבית של מודלי שפה ותרגום מול 3,456 דוגמאות שנועדו להכשיל מערכות קיימות.
- אימות פלט לפי חוקים
הרצת שדה חוקי האימות כדי לבדוק אוטומטית אם המודל עמד בהנחיות תרגום נוקשות.
- בדיקת תרגום רב מודאלי
הזנת דוגמאות שכוללות תמונות, וידאו או שמע שמקודדים בנתונים כדי לבחון מודלים מולטימודאליים.
איפה זה נופל
הדאטהסט לא מיועד לאימון כללי. יש בו רק 3,456 דוגמאות שנועדו להכשיל, כך שאימון עליהן ייצור הטיה ברורה ומודל שלא מייצג שפה יומיומית. בנוסף, עברית כלל לא מופיעה ברשימת השפות של המאגר, שכוללת אנגלית, ערבית, צרפתית, גרמנית, סינית, יפנית, ספרדית, איטלקית, רוסית, פורטוגזית, פולנית והולנדית. אי אפשר לבדוק כאן ביצועים שקשורים לעברית.
שאלות
נפוצות
האם יש במאגר תמיכה בעברית?
לא. רשימת השפות כוללת שתים עשרה שפות, בהן אנגלית, ערבית, גרמנית, צרפתית וספרדית, אך עברית אינה חלק מהן. מי שמפתח מוצר שמיועד לשוק המקומי לא יוכל להשתמש בו ישירות.
האם מותר להשתמש בדאטהסט לפרויקטים מסחריים?
כן, הרישיון הוא CC-BY 4.0 שמתיר שימוש מסחרי מלא. התנאי היחיד הוא מתן קרדיט ליוצרי המאגר לפי ההנחיות שלהם.
מה שונה במאגר הזה ממבחני תרגום סטנדרטיים?
מבחנים רגילים מסתמכים לרוב על ציונים אוטומטיים גנריים או טקסטים קלים שאינם מייצגים שגיאות אמיתיות. כאן כל דוגמה נכתבה ונבדקה בידי אדם במטרה לשבור מודלים, ולכל אחת הוצמדו חוקי אימות ידניים והסבר בלשני לקושי.
איך בנוי קובץ הנתונים בפועל?
הנתונים זמינים כקובץ JSON ישיר שמכיל את הטקסטים, השפות, חוקי האימות וכן תגיות חלוקה. בדוגמאות מולטימודאליות, קובצי התמונה, השמע והווידאו מוטמעים ישירות כמחרוזות base64.
איך טוענים
הקובץ המרכזי יושב כקובץ JSON פשוט בשם data/v1.json ואין צורך לבקש אישור גישה כדי להוריד אותו. השדות העיקריים שצריך לעבד בריצה הם source, צמד השפות, ושדה verification_rules לצורך בדיקת הפלט. אם אתם עובדים רק על טקסט, כדאי לסנן מראש לפי שדה הטאגים או להתעלם משדה source_media כדי לא לפרוק סתם קבצי מדיה כבדים שמקודדים שם.
from datasets import load_dataset
ds = load_dataset("zouhar/last-translation-benchmark")הרישיון
הרישיון הוא CC-BY 4.0 שמתיר שימוש מסחרי, שינוי והפצה, ובלבד שניתן קרדיט מתאים ליוצרים. אין כאן דרישה לשתף תוצרים באותו רישיון. המשמעות היא שאתם יכולים להעריך באמצעותו מודלים מסחריים או מוצרים סגורים בלי לחשוף את הקוד שלכם, כל עוד מופיע ייחוס.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס