multidomain-kazakh-dataset
קוד פתוחkz-transformersapache-2.02023-04-28
המאגר מרכז קרוב ל־25 מיליון טקסטים בקזחית ממקורות רשת, ספרים וחדשות. הוא נבנה במיוחד לאימון מודלי שפה בסיסיים כמו מסכות והשלמת טקסט.
- 276הורדות בחודש
- 30לייקים
מה זה
המאגר מאגד טקסטים בקזחית שנאספו מחמישה מקורות שונים. החלק הגדול ביותר מגיע מ־cc100 וכולל בעיקר ערכי ויקיפדיה קצרים עם חציון של 12 תווים בלבד לקטע. לצידו יש קובץ ספרים של מעל 8,000 כותרים ארוכים, קובץ חדשות מקומיות kazakhNews עם מעל מיליארד טוקנים, דגימות מאוסף leipzig ומאגר oscar שמבוסס על סריקת רשת רחבה.
המבנה של כל רשומה פשוט מאוד וכולל את גוף הטקסט עצמו, מזהה ייחודי, שפת המקור שנחזתה על ידי מודל ואינדיקטור בינארי שמציין האם הטקסט מכיל אותיות ייחודיות לאלפבית הקזחי. אין במאגר תיוגים נוספים או שכבות ניתוח דקדוקיות מעבר לשדות הטכניים האלה.
מתאים ל
- אימון מודלי שפה מקדימים
משמש לבניית מודלי בסיס בקזחית באמצעות משימות מסכות או חיזוי הטוקן הבא.
- סינון וטיוב נתונים בקזחית
מאפשר לסנן טקסטים לפי נוכחות אלפבית קזחי ייעודי עבור קורפוסים מותאמים.
- אימון על טקסט עיתונאי
חלק החדשות מכיל מעל מיליארד טוקנים ומתאים להתאמת מודלים לתחומי אקטואליה.
איפה זה נופל
המידע אינו אנונימי והכרטיס מצהיר מפורשות שמופיעים בו שמות של אנשים פרטיים ללא שמות המחברים המקוריים, עניין שדורש זהירות לפני אימון מודל שמייצר טקסט. קובץ ה־cc100 שמהווה את רוב הרשומות מורכב מקטעים קצרים מאוד, מה שעלול להקשות על לימוד הקשרים ארוכים. המאגר מוגדר דו-לשוני עם רוסית אך מתמקד כמעט כולו בקזחית, ואין תיעוד לגבי סינון תכנים פוגעניים.
שאלות
נפוצות
האם המאגר כולל עברית?
לא, המאגר מיועד לקזחית וכולל מעט רוסית. אין בו נתונים בעברית והוא לא יעזור למשימות מקומיות בישראל אלא אם אתם מפתחים מודל רב לשוני ספציפי.
האם מותר להשתמש בדאטהסט לפרויקט מסחרי?
כן, רישיון apache-2.0 מאפשר שימוש מסחרי מלא כולל אימון מודלים פנימיים או מסחריים. תצטרכו רק לכלול את הצהרת זכויות היוצרים והרישיון המקורי.
מה הגודל של המאגר בדיסק?
הדאטהסט שוקל 25 גיגה בייט במלואו. הוא מורכב מקובצי CSV כך שמומלץ לבדוק שיש נפח אחסון וזיכרון מספקים לפני טעינה של כל החלקים יחד.
איך המידע חולק וסונן?
הנתונים חולקו לפי חמישה מקורות כמו ספרים, חדשות וויקיפדיה. הסינון העיקרי שבוצע מספק זיהוי שפה משוער ודגל בינארי לנוכחות תווים קזחיים, ללא ניקוי ידני מעמיק.
איך טוענים
הדאטהסט פתוח להורדה ישירה ללא צורך באישור גישה מוקדם או מפתחות מיוחדים. הוא שוקל 25 גיגה בייט במלואו ומחולק לחמישה קובצי CSV נפרדים לפי מקורות המידע, כמו kazakhBooks ו־kazakhNews. בעבודה שוטפת בטעינה עם ספריית datasets תרצו לשים לב לשדות id, text, ובעיקר ל־contains_kaz_symbols שמאפשר לסנן במהירות שורות שאינן מכילות תווים קזחיים. בגלל המשקל והמבנה כדאי לעבוד בסטרימינג או לוודא שיש לכם מספיק זיכרון עבודה פנוי בשרת לפני שפורסים את כל הטבלאות לתוך הזיכרון.
from datasets import load_dataset
ds = load_dataset("kz-transformers/multidomain-kazakh-dataset")הרישיון
המאגר משוחרר ברישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, ואינו מחייב אתכם לשחרר מודלים שאימנתם תחת אותו רישיון. החובה העיקרית היא מתן קרדיט וייחוס מתאים ליוצרים המקוריים של המאגר.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים