Aleph-Alpha-GermanWeb
קוד פתוחAleph-Alphaother2025-04-15
קורפוס גרמני שמיועד לאימון מודלי שפה, המשלב סינון מבוסס מודלים על נתוני רשת עם דאטה סינתטי. הוא רלוונטי למי שרוצה ביצועים חזקים בגרמנית מעבר למה שנתוני FineWeb2 הרגילים מספקים.
- 842הורדות בחודש
- 24לייקים
מה זה
המאגר מחולק לשלושה מקורות נפרדים שדורשים הרכבה. שני החלקים הראשונים אינם מכילים את הטקסט הגולמי המלא של הרשת, אלא רשימות מזהים מסוננות. החלק של Common Crawl מפנה לשישה סנאפשוטים ספציפיים מסוף 2024 ותחילת 2025, ומספק רק מזהי warc_id של רשומות שעברו סינון היוריסטי ומבוסס מודלים. החלק השני, fineweb2-high, מכיל רשימת מזהים מתוך תת המאגר הגרמני של FineWeb2, אותם צריך לסנן מקומית מתוך המאגר המקורי בעזרת הזרמה.
החלק השלישי הוא מאגר סינתטי שמגיע מוכן לקריאה ומכיל את הטקסטים עצמם. הוא נוצר באמצעות מודל שפה שהתבסס על נתוני רשת אמיתיים, ומחזיק שתי עמודות בלבד: הטקסט המעובד ומזהה פרומפט שנע בין 0 ל־4. המזהים מייצגים חמש משימות יצירה שונות, הכוללות ניסוח מחדש, סיכום, כתיבה מחדש בסגנון ויקיפדיה, ניסוח שאלות וחילוץ רשימות.
מתאים ל
- קדם אימון למודלי שפה
אימון מקדים או המשך אימון של מודלים בגרמנית הזקוקים לנתוני רשת מסוננים בקפידה.
- מחקר על דאטה סינתטי
בדיקת ההשפעה של טקסט סינתטי מבוסס פרומפטים מוגדרים לעומת טקסט רשת חי.
- סינון קורפוסים עצמאי
שימוש ברשימות המזהים כדי לחתוך סנאפשוטים קיימים של Common Crawl לרמת איכות גבוהה.
איפה זה נופל
זהו מאגר בגרמנית בלבד ואין בו שום תוכן בעברית או באנגלית. החלקים שמבוססים על דפי אינטרנט דורשים תשתית הורדה וסינון כבדה מאוד, שכן הטקסט עצמו לא נשמר במאגר עבורם אלא רק המזהים. בנוסף, חלק שלם מבוסס על טקסט שנוצר על ידי מודלי שפה, מה שמכניס סכנה של הזיות, שגיאות עובדתיות או עיוותים סגנוניים שהמודל היוצר סוחב איתו.
שאלות
נפוצות
האם המאגר כולל טקסט בעברית?
לא. המאגר מיועד אך ורק לשפה הגרמנית, ומכיל נתוני רשת בגרמנית וטקסטים סינתטיים שנוצרו באותה שפה בלבד.
האם מותר להשתמש במאגר למוצר מסחרי?
הרישיון הרשמי מוגדר כ־other ולא כרישיון פתוח מוכר. יש לעיין ישירות בקובץ LICENSE שנמצא במאגר כדי לדעת אם מותר להפיץ מודל מסחרי שאומן עליו.
למה טעינת הנתונים לוקחת כל כך הרבה זמן?
הסקריפטים טוענים לזיכרון כמות עצומה של מזהים כדי לסנן את המקורות המוזרמים. הפעולה הזו דורשת כ־3.5 גיגה זיכרון ויכולה להמתין עשר דקות ומעלה לפני שהרשומה הראשונה מעובדת.
האם מקבלים את כל הטקסט של Common Crawl בהורדה מהמאגר?
לא, מקבלים רק את מזהי הרשומות שעברו סינון. את קובצי ה־WARC המקוריים של שישת הסנאפשוטים צריך להוריד ולחלץ עצמאית בעזרת NeMo Curator.
איך טוענים
אי אפשר פשוט לטעון את כל הדאטה בפקודה אחת ולהתחיל לאמן. בשביל החלק הסינתטי מספיק להריץ load_dataset עם השם synthetic. עבור חלקי הרשת צריך להוריד מראש את קובצי המקור מ־Common Crawl בעזרת NeMo Curator, או להזרים את FineWeb2 ולהצליב את המזהים בזיכרון. פעולת טעינת המזהים ל־frozenset דורשת כ־3.5 גיגה זיכרון RAM ויכולה לקחת עשר דקות רק כדי להתחיל את האיטרציה.
from datasets import load_dataset
ds = load_dataset("Aleph-Alpha/Aleph-Alpha-GermanWeb")הרישיון
הרישיון בעמוד מוגדר כ־other, כלומר רישיון מותאם אישית שאינו תבנית קוד פתוח סטנדרטית. המאגר כולל קובץ בשם LICENSE אך פרטיו המלאים לא מפורטים בתיעוד. לפני אימון מודל לשימוש מסחרי או הפצה חובה להוריד את קובץ הרישיון ישירות מהמאגר ולבדוק מה הוא מתיר, במיוחד בנוגע לדאטה הסינתטי ולתוצרי אימון.