20k-en-zh-translation-pinyin-hsk
קוד פתוחswaption2009רישיון לא דווח2023-01-31
המאגר כולל משפטים באנגלית עם תרגום לסינית, תעתיק פיניין ורמת קושי לפי מבחן HSK. הוא מתאים למי שבונה כלים ללימוד שפה וצריך חומר מדורג לפי רמות.
- 81הורדות בחודש
- 29לייקים
מה זה
כל רשומה מורכבת ממשפט באנגלית, רמת ה־HSK של מילת המטרה, תרגום לסינית, תעתיק פיניין, ומפריד של שני מקפים. המשפטים נלקחו מחפיסת כרטיסיות ישנה שפורסמה בפרויקט מנמוסין על ידי בריאן ווהן, במקור כדוגמאות שימוש שנועדו להמחיש מילים ספציפיות.
התוכן מכסה רמות בסיסיות ובינוניות של HSK 1 עד 4 בלבד. הסיווג לרמות נקבע לפי המילה שהמשפט נבנה להדגים, ולא לפי מורכבות כלל המילים בתוכו, כך שמשפט ברמה 4 עשוי להכיל רק תווים בסיסיים ביותר אם המילה עצמה מורכבת מתווים כאלה.
במאגר עצמו יש שלושה קבצים, כולל קובץ טקסט בשם hsk_1_4.txt ומסמך README. אין כאן חלוקה מובנית לסט אימון, מבחן או אימות, וכל הנתונים יושבים יחד ברצף.
מתאים ל
- אימון מודל תרגום בסיסי
התאמת מודל לתרגום משפטים קצרים ופשוטים בין אנגלית לסינית ברמות קושי נמוכות.
- הפקת פיניין אוטומטית
אימון או בדיקה של מערכות שממירות כתב סיני לתעתיק פיניין מנוקד ברמת משפט.
- בניית אפליקציות לימוד
שימוש במשפטים המדורגים כדי לייצר תרגילים למתחילים לפי רמות HSK 1 עד 4.
איפה זה נופל
ההטיה המרכזית נובעת משיטת הסיווג. רמת ה־HSK משקפת את מילת המטרה ולא בהכרח את הרמה התחבירית של כל המשפט. בנוסף, המאגר נעצר ברמה 4, כך שאין שום כיסוי לרמות המתקדמות 5 ו־6, ורמת האוצר מוגבלת מאוד. הנתונים מגיעים מכרטיסיות לימוד ישנות, מה שאומר שהשפה עשויה להרגיש מלאכותית או לא מעודכנת לסלנג עכשווי, ואין שום עברית במאגר. לפני שמשלבים את זה במודל, צריך לבדוק שהמשפטים נשמעים טבעיים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
לא מומלץ בכלל. לא הוגדר רישיון בדף המאגר, ולכן אין אישור מפורש לשימוש מסחרי או לאימון מודלים שיופצו לאחרים. שימוש כזה חושף אתכם לבעיות של זכויות יוצרים.
האם הדאטהסט כולל תרגום לעברית?
לא. המאגר מכיל אך ורק אנגלית, סינית ותעתיק פיניין. מי שרוצה עברית יצטרך לתרגם את החלק האנגלי בעצמו.
איך נאספו המשפטים שבפנים?
הנתונים נלקחו מחפיסת כרטיסיות שיתופית באתר פרויקט מנמוסין, אותה העלה בריאן ווהן. המשפטים שימשו במקור כדוגמאות להמחשת מילים ספציפיות עבור לומדי סינית.
מה ההבדל בין המאגר הזה למאגרי תרגום מקבילים?
בשונה ממאגרי ענק של תרגום כללי, כאן כל משפט מתוייג לפי רמת HSK ומכיל תעתיק פיניין מוכן. החיסרון הוא שהאוצר מוגבל לרמות 1 עד 4 בלבד ולא מייצג שפה יומיומית מורכבת.
איך טוענים
טוענים את הנתונים ישירות מקובץ הטקסט hsk_1_4.txt שנמצא במאגר, או דרך הקוד הרגיל של Hugging Face. הגישה חופשית לגמרי ואין צורך בהרשאה מיוחדת או באישור יוצר כדי למשוך את הקבצים.
מאחר שהמידע נשמר בפורמט טקסט פשוט ולא בטבלה תקנית, תצטרכו לכתוב סקריפט קצר שיפרק כל רשומה לפי המפריד המוגדר וישלוף את ארבעת השדות: משפט באנגלית, רמת HSK, תרגום בסינית ותעתיק פיניין. ודאו שהקוד שלכם מטפל נכון בקידוד התווים הסיניים בזמן הקריאה.
from datasets import load_dataset
ds = load_dataset("swaption2009/20k-en-zh-translation-pinyin-hsk")הרישיון
היוצר לא דיווח על רישיון כלשהו בכרטיס המאגר. מבחינה חוקית, היעדר רישיון אומר שכל הזכויות שמורות ואין היתר ברור להשתמש בחומר, בטח שלא למטרות מסחריות או לאימון מודל שיופץ בעתיד. אם אתם עובדים על מוצר מסחרי, מדובר בסיכון משפטי ועדיף לחפש חלופה עם רישיון פתוח מתועד.