BellaTurca
קוד פתוחturkish-nlp-suitecc-by-sa-4.02024-06-13
קורפוס ענק בטורקית שמיועד לאימון מודלי שפה, עם סינון מוקפד של זבל אינטרנטי והסרת כפילויות. מי שבונה מודל בטורקית מקבל כאן שילוב נדיר בין טקסט אקדמי, פורומים ואתרים נבחרים.
- 3,366הורדות בחודש
- 17לייקים
מה זה
המאגר מאגד חמישה מקורות שונים בטורקית כדי לייצר גיוון לשוני. יש בו טקסטים אקדמיים ותזות מאתר Dergipark עם תיקוני שגיאות סריקה, אתרים נבחרים בנושאי תרבות, טכנולוגיה, ספרות וביקורות קולנוע, ושיחות מפורומים פופולריים כמו memurlar.net ו־kadinlarklubu.com שעברו ניקוי תוך שמירה על אימוג'ים.
החלקים הגדולים מגיעים מגרסאות מסוננות של OSCAR ו־mC4 המבוסס על CulturaX. הצוות סינן פרסומות, תוכן למבוגרים וחזרות, וביצע ניקוי כפילויות פנימי וצולב בין המאגרים כדי למנוע חפיפות הנובעות מ־Common Crawl. במקור נכלל גם קורפוס ספרים, אך הוא הוסר בגלל זכויות יוצרים.
מתאים ל
- אימון מקדים למודלי שפה
בסיס של מעל 30 מיליארד מילים בטורקית עבור אימון מודלים מאפס או הרחבת יכולות קיימות.
- התאמה לתחום האקדמי
אימון או כוונון עדין על תת-המאגר האקדמי כדי להבין מאמרים ותזות בטורקית.
- עיבוד שפה יומיומית
שימוש בטקסטים מפורומים מקומיים להבנת סלנג, קיצורים ומבנה שיחה לא פורמלי.
איפה זה נופל
המאגר כולו בטורקית בלבד ואין בו שפות אחרות. קורפוס הספרים הוצא בגלל זכויות יוצרים, ולכן חסר בו ייצוג של פרוזה וספרות עשירה. בנוסף, חלקי הרשת הגדולים נשענים על סריקות עבר של Common Crawl, כך שעלולות להופיע הטיות רשת טיפוסיות למרות הסינון של תוכן למבוגרים ופרסומות. כרטיס הדאטהסט לא מפרט תאריכי סריקה מדויקים.
שאלות
נפוצות
האם יש במאגר טקסטים בעברית?
לא. המאגר כולו מוגדר לשפה הטורקית בלבד ונועד לאימון מודלי שפה בטורקית.
האם מותר להשתמש במאגר למוצר מסחרי?
הרישיון הוא cc-by-sa-4.0, שמתיר שימוש מסחרי אך כולל סעיף שיתוף זהה. המשמעות היא שכל נגזרת עשויה לחייב שחרור תחת אותו רישיון בדיוק, ולכן חברות המפתחות מודלים קנייניים צריכות לבדוק היטב את ההשלכות המשפטיות.
כמה מקום צריך בשביל להוריד את כל הדאטה?
הנפח הכולל המדווח הוא כ־245GB, ובפירוט הטבלה מופיע גודל של 246.5GB. קחו בחשבון שתת-המאגר של הפורומים, ששוקל 13.41GB, יושב במאגר נפרד בהאגינג פייס.
במה הוא שונה מגרסאות רגילות של OSCAR או mC4?
החוקרים לקחו את המאגרים האלה וביצעו סינון אגרסיבי של פרסומות ותוכן למבוגרים. בנוסף הם ביצעו ניקוי כפילויות צולב בין OSCAR ל־mC4 כדי למנוע שכפול של קטעים מ־Common Crawl.
איך טוענים
הנתונים מחולקים לקבצי jsonl לפי תתי-המאגרים, למשל תחת התיקייה akademik-derlem. סך כל הנפח מגיע לכ־245GB או 246.5GB בטבלה, כך שמומלץ לעבוד בסטרימינג או לוודא שיש מספיק נפח אחסון מראש. אין צורך באישור גישה מיוחד. שימו לב שתת-המאגר של הפורומים מוגש במאגר ייעודי נפרד בהאגינג פייס בגלל המבנה שלו.
from datasets import load_dataset
ds = load_dataset("turkish-nlp-suite/BellaTurca")הרישיון
הרישיון המדווח הוא cc-by-sa-4.0. מותר להשתמש במידע, כולל למטרות מסחריות, בתנאי שנותנים קרדיט מתאים. הסעיף הקריטי כאן הוא השיתוף הזהה, שמחייב להפיץ יצירות נגזרות תחת אותו רישיון בדיוק. אם אתם מאמנים מודל על הדאטה הזה, ייתכן שתידרשו לשחרר את משקולות המודל תחת אותו רישיון פתוח, מה שלא מתאים לקוד סגור.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון