The Pile

הסקירה

The Pile מוריד למחשב שלכם קובץ ענק בנפח של 825 GiB שמורכב מאיחוד של 22 מאגרי נתונים נפרדים. הוא לא תוכנת עבודה רגילה שפותחים בדפדפן ומתחילים להקליד בה משימות יומיות. מדובר במאגר טקסט גולמי שנבנה במיוחד לאימון מודלי שפה גדולים ולבדיקת ביצועים שלהם במדד bits per byte. אם אתם מחפשים אפליקציה שתסדר לכם את הלוז או תכתוב במקומכם מיילים, הגעתם לכתובת הלא נכונה לחלוטין. זה חומר גלם מובהק לחוקרים ומפתחי למידת מכונה שצריכים להאכיל מודלים בטקסטים מגוונים ממקורות שונים.

זה כלי לחוקרים בלבד.

מה באמת מכיל המאגר

הנתונים מגיעים בקבצי jsonlines דחוסים באמצעות zstandard ומאוחסנים בשרתים של the Eye. המטרה של הפרויקט היא לשפר את היכולת של מודלים להתמודד עם נושאים שונים בלי לקרוס כשמשתנה תחום הידע. התוכן מחולק בין ספרים, מאגרי קוד של GitHub, יומני צ'אט, דפי אינטרנט ומאמרים אקדמיים בפיזיקה, רפואה, פילוסופיה ומדעי המחשב. המגוון הרחב הזה נועד ללמד את המערכות להכליל מידע טוב יותר ולא להיתקע בסגנון כתיבה בודד. The Pile הוא מאגר נתונים טכני לחלוטין לאימון מודלים ולא אפליקציה לניהול משימות. אתם מקבלים טקסט דחוס ולא ממשק משתמש מעוצב.

ההורדה דורשת שטח אחסון רציני.

מבחינת תמחור ועלויות, הפרויקט מוגדר לחלוטין כקוד פתוח ללא תשלום עבור הגישה לנתונים. אין כאן מדרגות מחיר, מסלולי מנויים חודשיים או תוכניות לעסקים. כל אדם יכול לגשת לקישור ההורדה באתר ולמשוך את כל הקבצים ישירות לשרת או לכונן הקשיח שלו. אבל החינם הזה דורש תשתית משלכם. אתם צריכים מחשוב חזק, נפח אחסון מקומי של מאות ג'יגה בייט ורוחב פס יציב כדי לפרוק ולהריץ אימונים על המידע הזה, וזה כבר עולה כסף אמיתי בחשבון הענן שתבחרו לעבוד איתו.

למי זה לא מתאים

לא הייתי משתמש בזה לפרויקטים שמתמקדים בשפה העברית. כל האתר כתוב באנגלית, המקורות המפורטים מתבססים על ספרות, קוד ומאמרים מדעיים באנגלית, ואין בחומר שום אזכור לתמיכה בטקסטים מקומיים או תכנים בעברית. מי שמנסה לאמן מודל שיבין עברית ברמה טבעית לא יקבל כאן מענה ישיר. אם אתם בונים כלי לקהל ישראלי או לשוק המקומי, המאגר הזה פשוט לא יספק לכם את חומרי הגלם המתאימים לשפה שלנו, ותצטרכו לחפש מקורות נתונים אחרים לחלוטין.

בעברית זה לא יעזור לכם.

מה שבאמת מפריע כאן הוא שאין אפשרות לעבוד עם הכלי הזה כמערכת מוכנה מראש. אם אתם אנשי שיווק, מנהלי מוצר או עצמאיים שרוצים לייעל את שגרת יומם, אין לכם מה לחפש כאן. כדי לנצל את המאגר צריך להוריד את קוד הבדיקה ממאגר lm_perplexity של EleutherAI בכתובת GitHub, להריץ סקריפטים ולמדוד דיוק במדדי ביטים פר בייט. בעמוד יש לוח תוצאות שמשווה ביצועים של מודלים ותיקים כמו GPT-3 עם ציון של 0.7177 ו־GPT-2 עם ציון של 1.2253. הנתונים מתאימים רק למי שבונה ומודד ארכיטקטורות של מודלי שפה.

המדידה נעשית לפי מדד BPB.

• מחיר רישיוןקוד פתוח חינמי
• ממשק שימושהורדת קבצים בלבד
• תמיכה בעבריתלא מצוינת באתר