EvolKit-75K
קוד פתוחarcee-aiרישיון לא דווח2024-11-22
המאגר מרכז נתוני אימון הוראות ששימשו ישירות מודלים כמו INTELLECT-1 ו־SuperNova. תרצו אותו אם אתם מחפשים קלט שנוצר בשיטת EvolKit כדי לכוונן מודלי שפה.
- 133הורדות בחודש
- 40לייקים
מה זה
המאגר כולל נתוני אימון הוראות שיוצרו באופן פנימי על ידי חברת Arcee AI, באמצעות כלי הקוד הפתוח שלהם שנקרא EvolKit. המטרה של הנתונים האלה הייתה לשרת תהליכי כוונון עדין, יישור העדפות וזיקוק ידע עבור מודלים פתוחים, ובראשם פרויקט האימון המבוזר INTELLECT-1 ומודל SuperNova.
הכרטיס לא מפרט את המבנה המדויק של כל שורה, סוגי המשימות, שמות העמודות או אופן החלוקה הפנימית. ידוע רק שהנתונים נבנו בתהליך יצירה עצמאי של החברה, ושהם פורסמו לצד משאבים נוספים מאותו פיתוח, כולל לוגיטים שחולצו מהמודל Llama-3.1-405B.
אין בכרטיס פירוט לגבי שלבי סינון, בדיקות איכות אוטומטיות או ידניות שבוצעו על הטקסט, ומעבר לעובדה שהתוכן שימש לאימון INTELLECT-1-Instruct, החברה לא מציגה מדדים על הרכב הדאטה.
מתאים ל
- כוונון עדין למודלי הוראות
אימון ישיר של מודלי שפה על הנחיות שנוצרו בכלי EvolKit, בדומה לאימון של INTELLECT-1.
- מחקר על דאטה סינתטי
בדיקת ההשפעה של נתונים שיוצרו באמצעות EvolKit מול מאגרי הוראות אחרים ברשת.
- שחזור ביצועי SuperNova
שילוב הנתונים בתהליכי אימון כדי לבחון אם מגיעים לביצועים של המודלים המקוריים.
איפה זה נופל
הכרטיס לא מדווח על השפות שקיימות בתוך הנתונים, ולא ברור אם יש בו משהו מעבר לאנגלית. אין שום תיעוד של הטיות מוכרות, סינוני בטיחות או בדיקות רעילות שבוצעו על הטקסט. הנתונים נוצרו בצורה סינתטית באמצעות EvolKit, ולכן הם עלולים לשאת טעויות או חזרתיות טיפוסית למודלים שמהם הופקו. לפני שמכניסים את זה למודל שמשרת משתמשים אמיתיים, תצטרכו לדגום את התשובות בעצמכם ולבדוק אם הן מכילות הזיות או מידע בעייתי.
אותה משפחה
EvolKit יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מודל מסחרי?
בגוף הטקסט נכתב שהשחרור נעשה תחת Apache-2.0, רישיון שמתיר שימוש מסחרי מלא עם ייחוס. יחד עם זאת, במאפייני המאגר לא הוזן רישיון רשמי. עדיף לפנות למפתחים או לברר את הנקודה לפני שמשקיעים משאבים באימון מסחרי.
האם יש במאגר נתונים בעברית?
הכרטיס אינו מזכיר שפות כלל ולא מפרט את הרכב הטקסט. על פי אופי הפרויקט והמודלים שאומנו עליו סביר להניח שהרוב המוחלט הוא באנגלית, אך צריך לפתוח את הקובץ ולבדוק.
מאיפה הגיעו הנתונים שבפנים?
הנתונים נוצרו בתוך Arcee AI באמצעות הכלי EvolKit שלהם, ולא נאספו ישירות מגולשים. חלק מהפיתוח המקביל כלל חילוץ לוגיטים מ־Llama-3.1-405B, אך הפירוט המדויק על מקור הפרומפטים הראשוניים אינו מתועד.
באיזה פורמט המידע שמור ואיך ניגשים אליו?
כל המאגר שמור בקובץ Parquet יחיד בתיקיית data. אין צורך בבקשת גישה מיוחדת, וניתן למשוך אותו מיד בעזרת פקודת טעינה סטנדרטית ב־Python.
איך טוענים
הדאטה מגיע בקובץ Parquet בודד בשם train-00000-of-00001 תחת ספריית data, לצד קובץ התיעוד. הגישה אליו חופשית לגמרי ואין צורך בהרשאה מיוחדת או בחשבון מאושר כדי להוריד אותו. אפשר לטעון אותו ישירות עם ספריית datasets של Hugging Face לפי המזהה של המאגר. שמות השדות המדויקים בפנים לא מפורטים בכרטיס, כך שתצטרכו לקרוא את השורות הראשונות של הקובץ כדי לראות את מבנה השיחה או ההוראה.
from datasets import load_dataset
ds = load_dataset("arcee-ai/EvolKit-75K")הרישיון
בטבלת המטא-דאטה של המאגר מצוין שלא דווח רישיון, אבל בתוך הטקסט של הכרטיס המפתחים כותבים שהם שחררו את המאגר תחת רישיון Apache-2.0. הסתירה הזו אומרת שכדאי להיזהר. תחת Apache-2.0 מותר שימוש מסחרי מלא, שינוי ואימון מודלים, בכפוף למתן קרדיט. עם זאת, בגלל שהשדה הרשמי במאגר נשאר ריק, כדאי לוודא מולם את הסטטוס המשפטי לפני אימון מסחרי.