olmix
קוד פתוחallenaiapache-2.02026-02-11
המאגר מרכז תוצאות של ריצות אימון מדגמיות לצורך אופטימיזציה של יחסי ערבוב נתונים. הוא מיועד למי שרוצה למצוא תמהיל דאטה יעיל בלי לשרוף תקציבי עתק על אימונים מלאים.
- 125הורדות בחודש
- 39לייקים
מה זה
המאגר כולל תוצאות מתוך 36 להקות ניסויים, שמכילות ריצות פרוקסי על מודלים של 30 מיליון פרמטרים שאומנו על 3 מיליארד תווכי נתונים. בכל תיקייה יש שלושה קבצים: קובץ יחסים, קובץ מדדים וקובץ מטא דאטה. קובץ היחסים מגדיר את משקל האימון שניתן לכל תחום לפי מקור ונושא, קובץ המדדים מפרט את תוצאות ההערכה במונחי סיביות לבתים במבחנים מוכרים, וקובץ המטא דאטה מכיל גדלים טבעיים ומספרי טוקנים.
המבנה מחולק לארבעה חלקים עיקריים. החלק המרכזי מבוסס על 128 ריצות על פני 24 נושאי DCLM. לצדו ישנם נתוני מחקר על גודל הלהקות וההתפלגות שלהן, מקרי בוחן של שימוש חוזר בתערובות קודמות מול חישוב מחדש, ואימות תיאורטי של שיטות שימוש חוזר על מקורות כמו קוד מותאם ומסמכים מעובדים.
מתאים ל
- אופטימיזציה של תערובות
מציאת יחסי אימון מיטביים בין מקורות מידע שונים על בסיס מודלי פרוקסי.
- בדיקת שימוש חוזר בתערובות
ניתוח יעילות העדכון של תערובת נתונים קיימת בלי לאמן מחדש את כל התחומים.
- מחקר תיאורטי על יחסי דאטה
בחינת הקשר בין גודל להקת הניסויים וצפיפות הדגימה לבין דיוק התוצאות.
איפה זה נופל
זהו אינו דאטהסט טקסטואלי לאימון מודל שפה, אלא טבלאות ניסוי מאימוני מודלים קטנים מאוד. המדדים מוגבלים למודלי פרוקסי זעירים של 30 מיליון פרמטרים, ולא מובטח שהיחסים שנמצאו אופטימליים יתורגמו ישירות למודלי ענק.
הנתונים מוגבלים לתחומים שנבדקו במחקר, כמו קוד, נושאי רשת ומאמרים מדעיים, ללא ייצוג לשפות שאינן חלק ממאגרי הבסיס המקוריים וללא התייחסות לעברית. לפני שמיישמים את המסקנות על פרויקט עצמאי, צריך לזכור שהמדדים נמדדו רק במבחני ביצועים ספציפיים שהוגדרו מראש.
שאלות
נפוצות
האם מותר להשתמש בנתונים לצרכים מסחריים?
כן, הרישיון הוא אפאצ'י 2.0 והוא מתיר שימוש מסחרי מלא ללא תשלום. התנאי העיקרי הוא מתן קרדיט ושמירה על נוסח הרישיון המקורי. אין שום חובה לחשוף מודלים או קוד שפותחו בעזרת המידע הזה.
האם יש במאגר טקסטים בעברית שמתאימים לאימון?
לא, המאגר כלל אינו מכיל טקסטים לאימון אלא מדדי ביצועים ויחסי ערבוב בלבד. הנתונים מתעדים ריצות על מאגרים כמו קוד באנגלית ומאמרים מדעיים. אין בו תוכן בעברית או מדדים שהופקו על משימות בשפה זו.
במה המאגר הזה שונה ממאגרי אימון רגילים?
מאגרי אימון רגילים מכילים טקסט גולמי שעליו המודל לומד לקרוא ולכתוב. כאן מדובר בטבלאות נתונים שמציגות כמה טוקנים הוקצו לכל תחום ומה הייתה התוצאה במבחנים השונים. המטרה היא להבין איך לערבב נתונים, לא לאמן את המודל עצמו על הקבצים הללו.
כמה שוקל המאגר והאם ההורדה שלו כבדה?
המאגר קטן ביותר ושוקל מגה בייטים בודדים. הוא כולל 111 קבצים בלבד, רובם קובצי טבלאות ומטא דאטה בפורמטים פשוטים. ההורדה מיידית ואינה דורשת משאבי אחסון מיוחדים.
איך טוענים
הטעינה מתבצעת ישירות דרך ספריית הדאטהסטים של האגינג פייס בפקודה פשוטה, ללא צורך בבקשת גישה מיוחדת. המאגר קל משקל ומכיל פחות מאלף רשומות המחולקות על פני 111 קבצים בסך הכל.
לשימוש מעשי בכלי אופטימיזציה מורידים ישירות את הקבצים ratios.csv, metrics.csv ו־meta.json מהתיקייה הרלוונטית ומפנים אליהם בקובץ הגדרות. השדות החשובים לניתוח הם שמות התחומים ומשקליהם, תוצאות הציון לכל משימה, והשדות בקובץ המטא שקובעים את מגבלות החזרות ועונשי ההתפלגות.
from datasets import load_dataset
ds = load_dataset("allenai/olmix")הרישיון
המאגר מופץ תחת רישיון אפאצ'י 2.0 המאפשר שימוש חופשי, כולל שימוש מסחרי, שינוי והפצה של הנתונים. הרישיון דורש מתן ייחוס מתאים ושמירה על הודעת הרישיון המקורית, אך אינו מחייב שיתוף של תוצרים או מודלים באותו רישיון. אפשר להשתמש בנתונים כדי לחשב תמהילי אימון למודלים קנייניים ומסחריים ללא הגבלה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים