KOREAN-WEBTEXT
קוד פתוחHAERAE-HUBרישיון לא דווח2024-05-26
המאגר מרכז 2.2 מיליארד טוקנים בקוריאנית שעברו סינון קפדני. הוא מיועד למי שצריך טקסט נקי ברמת מסמך למחקרי אבלציה או כתוספת אימון, בלי ספאם וזבל רשתי.
- 368הורדות בחודש
- 48לייקים
מה זה
הנתונים מבוססים על גזירה ממקורות רשת מוכרים כמו cc100, כמה גרסאות של OSCAR, פרויקט CulturaY, ועוד אתרים שהצוות אסף בעצמו. לא מדובר בערימת רשת גולמית, אלא בטקסטים שעברו ניקוי עמוק כדי להעיף תוכן שבור או לא רלוונטי.
ברמת המשפט, החוקרים דרשו אורך מינימלי של 16 טוקנים ו־32 תווים, סיומת של סימני פיסוק מוגדרים, ופסלו שורות שבהן מילה בודדת חזרה על עצמה יותר מדי. ברמת המסמך כולו, כל טקסט קצר מ־512 טוקנים נזרק לפח. בנוסף, הם סיננו מסמכים שהכילו מילות עצירה מסוימות, כולל קישורים, הימורים, מספרי טלפון, וביטויים פוליטיים או סלנג רשתי, לצד הסרת כפילויות לפי תחילת וסוף המשפט.
מתאים ל
- מחקרי אבלציה בקוריאנית
בדיקת השפעת איכות הדאטה על ביצועי המודל בקנה מידה קטן, כפי שממליצים יוצרי המאגר.
- בנצ'מרק לסינון טקסט
השוואת איכות הפלט של מודלים מול קורפוסים גולמיים שלא עברו ניקוי אגרסיבי של ספאם.
- אימון משלים ממוקד שפה
תוספת של טקסט קוריאני איכותי למודל קיים שצריך חיזוק ביכולות הבנת הנקרא ברמת מסמך.
איפה זה נופל
הנפח הכולל הוא 2.2 מיליארד טוקנים, שזה מעט מאוד לאימון מודל שפה מודרני מאפס. היוצרים עצמם מציינים שהגודל הזה מתאים בעיקר למחקרי אבלציה והשוואות, ולא כבסיס יחיד. בנוסף, הסינון האגרסיבי זרק כל מסמך שהכיל מילים כמו בחירות או סלנג נפוץ, מה שעלול לייצר חורים בכיסוי התמטי של השפה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא מומלץ בכלל כרגע. היוצרים לא ציינו שום רישיון שימוש בעמוד הרשמי. ללא הגדרה כזו, אין תוקף משפטי לשימוש מסחרי במוצר שלכם.
האם המאגר כולל עברית או שפות נוספות?
לא, המאגר כולל אך ורק קוריאנית. כל המקורות והפילטרים שהופעלו עליו הוגדרו ספציפית עבור השפה הזו.
מאיפה הגיעו הטקסטים שנמצאים בפנים?
הבסיס נאסף ממאגרי רשת קיימים כמו OSCAR ו־cc100, לצד CulturaY. בנוסף לכך, הצוות אסף עצמאית טקסטים ממקורות אינטרנט שלטענתו אמינים.
האם הדאטהסט מספיק גדול כדי לאמן מודל מאפס?
הוא כולל 2.2 מיליארד טוקנים, שזה מעט מאוד לאימון בסיס של מודל שפה שלם. הצוות עצמו מבהיר שהוא נועד בעיקר למחקרי אבלציה ובדיקות מבוקרות.
איך טוענים
המאגר מגיע בפורמט Parquet ומחולק ל־18 קבצי אימון מתוך 20 קבצים בסך הכל. אין צורך באישור גישה כדי להוריד אותו, והוא פתוח ישירות דרך ספריית datasets בקוד פייתון. שימו לב שבדוגמת הקוד שהכותבים שמו בתיעוד יש טעות בשם המאגר והם כתבו סיומת 1B, אז ודאו שאתם פונים לשם המלא HAERAE-HUB/KOREAN-WEBTEXT.
from datasets import load_dataset
ds = load_dataset("HAERAE-HUB/KOREAN-WEBTEXT")הרישיון
היוצרים לא דיווחו על רישיון בדף המאגר. מבחינה מעשית זה אומר שאין לכם שום הרשאה מפורשת להשתמש בנתונים, לא לצרכים מסחריים ולא לפיתוח מוצר. אימון מודל על דאטה בלי רישיון מסודר חושף אתכם לסיכון משפטי, במיוחד בהתחשב בכך שהוא נשען על מקורות רשת מגוונים.