kde4
קוד פתוחHelsinki-NLPunknown2022-03-02
מאגר תרגום מכונה מקבילי שמבוסס על פרויקט התוכנה KDE4 מבית OPUS. הוא מתאים למי שמאמן מודלים על טקסט טכני וממשקי משתמש במגוון שפות.
- 463הורדות בחודש
- 25לייקים
מה זה
הנתונים מגיעים מקובצי התרגום של סביבת שולחן העבודה KDE4, כחלק ממיזם OPUS של אוניברסיטת הלסינקי, ומכילים בין מאה אלף למיליון רשומות מקביליות. הטקסט מורכב בעיקר ממחרוזות ממשק, הודעות מערכת, תפריטים ותיעוד טכני שנאספו ישירות מקובצי הלוקליזציה של הפרויקט. כרטיס המאגר לא מפרט תהליכי סינון או ניקוי מיוחדים שנעשו מעבר לעיבוד המקורי של OPUS.
בכרטיס עצמו חסר מידע רב לגבי מבנה הרשומות המדויק וחלוקת הנתונים למבחן ואימון, מה שאומר שתצטרכו לחלק אותם ידנית בעבודה. מגוון השפות כולל שפות כמו ערבית, בולגרית, קטלאנית וצ'כית לצד שפות פחות נפוצות, אך כולן נשענות על אותו סגנון טכני וממוקד של תוכנה.
מתאים ל
- אימון תרגום לממשקי תוכנה
התאמת מודלים לתרגום מחרוזות קצרות, כפתורים והודעות מערכת בתוכנות.
- הערכת ביצועים בטקסט טכני
בדיקת איכות של מודלי תרגום קיימים על מונחים טכניים ישנים יחסית.
- מחקר על שפות מעטות משאבים
אימון מודלים לשפות ייחודיות שמופיעות במאגר כמו ברטונית או צ'ובשית.
איפה זה נופל
הטקסטים מגיעים כולם מעולם התוכן של ממשקי מחשב ותוכנה ישנה, ולכן לא תמצאו כאן שפה מדוברת, ספרות או דיאלוגים טבעיים. המאגר פורסם במקור ב־2012, מה שאומר שהטרמינולוגיה משקפת מערכות הפעלה מלפני יותר מעשור. בנוסף, חסר כאן תיעוד מלא לגבי הטיות, סינון רעשים ורגישות הנתונים, מה שמחייב בדיקה ידנית לפני שילוב שלו במערכת עובדת.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון מוגדר כלא ידוע, ואין בכרטיס שום אישור לשימוש מסחרי. מומלץ לבדוק את מקור הנתונים באתר פרויקט OPUS לפני שמשתמשים בו במערכת מסחרית, כדי לא להפר זכויות יוצרים.
האם יש במאגר תמיכה בשפה העברית?
רשימת השפות המפורטת בכרטיס אינה כוללת עברית. היא מכילה שפות כמו ערבית, צ'כית, ברטונית ואחרות. כדי לבדוק אם קיימים צמדים עם עברית, יש להיכנס לדף הבית של OPUS המקושר בכרטיס.
איך נאספו הטקסטים של המאגר?
הטקסטים נלקחו מקובצי התרגום של סביבת שולחן העבודה KDE4 והומרו למאגר מקבילי במסגרת פרויקט OPUS. הם מייצגים עבודת לוקליזציה קהילתית של ממשקי משתמש ותוכנה. מעבר לכך, הכרטיס אינו מספק פרטים על מתרגמי הטקסט או שיטת העבודה.
כמה שטח אחסון נדרש כדי להוריד את הנתונים?
המאגר כולו מונה בין מאה אלף למיליון רשומות, וכולל שלושה קבצים בלבד ברמת המאגר. מדובר בנפח קטן יחסית שאינו דורש משאבי אחסון כבדים. ההורדה והטעינה שלו מתבצעות במהירות גם במחשב אישי רגיל.
איך טוענים
טוענים את המאגר ישירות בספריית datasets על ידי ציון צמד השפות המבוקש בהגדרות הקריאה, למשל שפת מקור ושפת יעד. המאגר כולל סקריפט טעינה בשם kde4.py ואינו דורש אישור גישה מיוחד או הרשמה מראש. גודל המאגר נע בטווח שבין מאה אלף למיליון רשומות, כך שהוא קל משקל ונוח להורדה מהירה גם במכונות מקומיות פשוטות. כדאי לזכור שכרטיס המאגר לא מפרט את שמות השדות המדויקים, ולכן מומלץ לבדוק את הדגימה הראשונה מיד לאחר הטעינה כדי לראות את מבנה המילון שמוחזר.
from datasets import load_dataset
ds = load_dataset("Helsinki-NLP/kde4")הרישיון
הרישיון המוגדר במאגר הוא unknown, כלומר לא ידוע. כרטיס המאגר אינו מציין תנאי רישוי, ייחוס או היתר לשימוש מסחרי. במצב כזה, שימוש במאגר לצורך אימון מודל שמיועד למוצר מסחרי כרוך בסיכון משפטי, אלא אם תאתרו את תנאי הרישיון המקוריים באתר הפרויקט.