vntl-leaderboard

מה זה

המאגר כולל נתוני לוח תוצאות וקבצי פלט מפורטים של מודלים שונים שהתמודדו עם משימת תרגום. הערכה עצמה מבוססת על 256 דוגמאות תרגום בלבד. מחצית מהדוגמאות, 128 במספר, מגיעות ממאגר ההערכה הפומבי VNTL v3.1 1k, והמחצית השנייה מגיעה ממאגר הערכה חדש שאינו זמין באופן ציבורי בהאגינג פייס.

המבנה של המאגר מורכב מקובץ מרכזי בשם leaderboard.jsonl ומתיקיית תוצאות הכוללת 187 קבצים. בין הקבצים תמצאו ריצות של מודלים ספציפיים כמו גרסאות של Yi, Cydonia ו־LLaMAX, לצד סקריפטים בפייתון שמחשבים מחדש את הציונים ויוצרים את הטבלה הסופית.

מתאים ל

• בחינת מודלים בתרגום יפנית

  השוואת ביצועי מודלי שפה פתוחים מול כלי תרגום כמו גוגל טרנסלייט וסוגוי על טקסט מרומנים חזותיים.

• ניתוח פלטים של מודלים

  בדיקת איכות התרגומים שנוצרו על ידי גרסאות קוונטיזציה שונות של מודלים כמו Yi ו־LLaMAX.

• מחקר מדדי הערכת תרגום

  בדיקת המתאם בין מדד דמיון קוסינוס לבין תוצאות מדד chrF על תרגומים יפניים לאנגלית.

איפה זה נופל

גודל המדגם הוא הבעיה העיקרית כאן, 256 שורות בלבד הן בסיס צר מאוד שאינו מייצג את מגוון סגנונות הדיבור והעולמות של רומנים חזותיים. מעבר לכך, הציון הקובע מסתמך על דמיון קוסינוס של מודל שיכוך, מדד שלפי מחברי המאגר נוטה לתת ציונים נמוכים גם לתרגומים נכונים לחלוטין. הנתונים מוגבלים לשפות יפנית ואנגלית בלבד, ואין כאן נגיעה לעברית.

איך טוענים

טוענים את קובץ הלוח הראשי בפורמט JSON Lines ישירות מהמאגר, או מושכים את קבצי הריצה הנפרדים מתיקיית התוצאות לניתוח שורת תרגום בודדת. המאגר קטן מאוד, פחות מאלף רשומות, ואינו דורש אישור גישה מיוחד. השדות המרכזיים בנתונים כוללים את שורות התרגום שהמודל ייצר, מדד הדמיון הסמנטי ומדד chrF מול תרגום הייחוס האנושי.

from datasets import load_dataset

ds = load_dataset("lmg-anon/vntl-leaderboard")

הרישיון

ליוצר המאגר אין רישיון מדווח בכרטיס. המשמעות היא שאין הרשאה מפורשת לשימוש מסחרי, להפצה מחדש או לאימון מודלים על בסיס הנתונים האלה. כל שימוש מעבר לצפייה ומחקר אישי כרוך בסיכון משפטי של הפרת זכויות יוצרים, במיוחד בהיעדר הבהרה לגבי מקור הטקסטים היפניים ותרגומי האדם.

הרישיון המלא ב־Hugging Face ↗