minipile
קוד פתוחJeanKaddourother2023-04-09
גרסה מכווצת של קורפוס The Pile המיועדת לאימון מודלי שפה על חומרה צנועה. הסינון שומר על מגוון המקורות המקורי אבל חותך את הנפח לגודל של שישה גיגה-בייט בלבד.
- 4,814הורדות בחודש
- 150לייקים
מה זה
המאגר מבוסס כולו על The Pile Deduplicated, הקורפוס המוכר של EleutherAI. במקום לקחת מדגם אקראי שעלול לפגוע באיכות או לייצר כפילויות, החוקר הפיק שיכוcurrent (embeddings) לכל המסמכים, חילק אותם לאשכולות באמצעות k-means, וזרק החוצה אשכולות שהוגדרו באיכות נמוכה. התוצאה היא טקסט מגוון שמייצג מקורות שונים בלי המשקל העצום של המקור.
הנתונים מחולקים לקובצי אימון ומבחן בפורמט Parquet, כאשר סט האימון לבדו מפוצל לשנים עשר חלקים. הרשומות הן קטעי טקסט רציפים שמיועדים למשימות כמו text-generation ו־fill-mask, בהיקף שנע בין מיליון לעשרה מיליון רשומות.
מתאים ל
- אימון ראשוני בתקציב מוגבל
הרצת בדיקות על ארכיטקטורות ומודלים חדשים בלי לשרוף אלפי שעות מעבד גרפי יקרות.
- ניסויי אופטימיזציה
השוואה מהירה בין אלגוריתמי אופטימיזציה וקצבי למידה על בסיס נתונים מגוון ומייצג.
- הערכת ביצועי שפה
בדיקת מודלים קיימים במשימות מילוי מסכה או השלמת טקסט באנגלית מול קובץ הבחינה הנפרד.
איפה זה נופל
הטקסט כולו באנגלית בלבד, ואין כאן עברית בכלל. בנוסף, כל ההטיות, השגיאות והבעיות שמובנות בתוך The Pile המקורי עדיין כאן, למרות הסינון של אשכולות באיכות נמוכה. מי שבונה מודל ייעודי למוצר צריך לזכור שהסינון התבסס על אלגוריתם אוטומטי ולא על בדיקה ידנית, כך שעדיין עלולים להסתנן תכנים בעייתיים שמקורם ברשת.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מודל מסחרי?
בתיאור המאגר מצוין שהוא כפוף לרישיון MIT של The Pile, שמתיר שימוש מסחרי ושינויים כל עוד נותנים קרדיט. עם זאת, השדה הטכני במערכת מוגדר כ־other, ולכן מומלץ לוודא שהפרויקט שלכם מאפשר שימוש כזה בהתבסס על התיעוד הכתוב.
האם המאגר כולל טקסט בעברית?
לא, המאגר מוגדר ומכיל טקסט בשפה האנגלית בלבד. אם המטרה היא אימון או התאמה של מודל לעברית, תצטרכו להסתמך על מקורות נתונים אחרים.
כמה שטח אחסון נדרש להורדת הנתונים?
המאגר שוקל כשישה גיגה-בייט. הוא מחולק למספר קובצי Parquet, כך שניתן לטעון ולעבד אותו בקלות גם על מחשב אישי סטנדרטי בלי שרתי ענק.
במה הוא שונה מ־The Pile המקורי?
The Pile המקורי עצום בגודלו וקשה לאימון בתקציבים קטנים. כאן מדובר בתת-קבוצה מסוננת שעברה קיבוץ של שיכונים וניקוי אשכולות באיכות נמוכה, כדי לספק גיוון לשוני בנפח קטן בהרבה.
איך טוענים
טוענים את המאגר ישירות מספריית datasets באמצעות הנתיב JeanKaddour/minipile. אין צורך לבקש אישור גישה מראש או להמתין למפתח. המאגר כולו שוקל כשישה גיגה-בייט ומגיע בחלוקה של 16 קבצים, כולל 12 קובצי אימון בפורמט Parquet וקובץ בדיקה, כך שאפשר להוריד אותו במהירות גם על חיבור ביתי בלי לחשוש מנפילת זיכרון.
from datasets import load_dataset
ds = load_dataset("JeanKaddour/minipile")הרישיון
במטא-דאטה הרישיון מסומן כ־other, אך בתיעוד נכתב במפורש כי המאגר כפוף לרישיון MIT בדומה לקורפוס המקורי. זהו רישיון מתירני שמאפשר שימוש מסחרי, שינוי והפצה, בכפוף למתן קרדיט ושמירת הודעת הרישיון המקורית. עם זאת, אי-ההתאמה בין ההגדרה הטכנית לטקסט מחייבת בדיקה זהירה מול הייעוץ המשפטי שלכם.