polish-dynaword

מה זה

המאגר כולל 4,319,200 מסמכים בגרסה היציבה v0.2.5, שנאספו מ־18 מקורות שונים בפולנית. הטקסטים מגיעים מאגרגציות קודמות כמו SpeakLeash, ממאגרי רשת כמו HPLT v3, מאתרים רשמיים של ממשלת פולין, מנאומי פרלמנט, ממאגר EUR-Lex, וממיזמי ויקימדיה. המבנה אחיד ומכיל שמונה עמודות: מזהה, טקסט, מקור, תאריך הוספה, תאריך יצירה, מספר טוקנים, רישיון ומחבר.

הסינון המקורי התמקד בעיקר במקור החוקי ובניקיון טכני בסיסי. הוסרו מסמכים קצרים, טקסט שאינו בפולנית, שיבושי סריקה וכפילויות מדויקות. מקורות ללא בסיס רישוי ברור, כמו תרגומי כתוביות סרטים, נפסלו מראש ולא נכנסו למאגר.

מתאים ל

• אימון בסיס לשפה הפולנית

  אימון מקדים של מודלי שפה על טקסט אנושי פולני נקי ומאומת ברמת הרישוי.

• עיבוד טקסטים רשמיים

  התאמת מודלים להבנה וניתוח של חקיקה, מסמכי ממשל ודיונים פרלמנטריים בפולין.

• מחקר על דאטהסטים פתוחים

  ניתוח תהליכי אוצרות, תיעוד מקורות ובדיקת זכויות יוצרים בקורפוסים ציבוריים.

איפה זה נופל

ההטיה הכבדה ביותר היא עודף של טקסט משפטי ומנהלי. השילוב של EUR-Lex, החקיקה הפולנית ודיוני הפרלמנט תופס נתח עצום מסך הטוקנים, ולכן אימון ישיר על כל החומר ייצור מודל שמדבר כמו פקיד ממשלתי. אין כאן בכלל שפות אחרות, אין עברית, והאיזון הלשוני דורש דילול יזום לפני שמתחילים לרוץ.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets או מקובצי Parquet שחולקו לפי מקורות. אין צורך באישור גישה או ברישום מיוחד. הקורפוס מכיל 184 קבצים ודורש שטח אחסון וזיכרון שמתאימים לעבודה עם קרוב לעשרה מיליארד טוקנים. שדות המפתח לעבודה הם text עבור האימון עצמו, ו־source יחד עם license לצורך סינון או שקלול של המקורות.

from datasets import load_dataset

ds = load_dataset("SlayerLab/polish-dynaword")

הרישיון

המאגר מופץ תחת רישיון CC-BY-SA-4.0 שמחייב שיתוף זהה ומתן קרדיט. מותר להשתמש בו לצרכים מסחריים, אבל חובה לתת ייחוס למקורות ול־SpeakLeash. בגלל סעיף השיתוף הזהה, הפצה של נגזרות ישירות מחייבת את אותו הרישיון, מה שמחייב בדיקה משפטית לפני שילוב שלו במודל מסחרי סגור.

• שימוש מסחרי
• שינוי הקוד
• חובת שיתוף באותו רישיון

הרישיון המלא ב־Hugging Face ↗