MoD
קוד פתוחCrystalcareaiapache-2.02024-02-15
אוסף שיחות ענק שמיועד לאימון מודלי מומחים מרובים, ומחבר יחד עשרות מקורות הוראות מוכרים. הוא נבנה במטרה לעזור למודל לפתח התמחויות שונות בעצמו.
- 134הורדות בחודש
- 36לייקים
מה זה
המאגר מכיל כ־780,000 שיחות בפורמט ShareGPT שנאספו מתוך עשרות מאגרי מידע קיימים בקוד פתוח. המטרה של היוצר, לוקאס, הייתה לייצר גיוון רחב שיאפשר לארכיטקטורות של תערובת מומחים לפתח התמחויות עצמאיות, בדומה לאופן שבו שחקנים שונים ניגשים לטקסטים מגוונים.
המקורות שנכנסו פנימה כוללים אוספים פופולריים מאוד מקהילת הקוד הפתוח, כמו OpenHermes 2.5, SlimOrca, Capybara, ו־no_robots, לצד דאטהסטים שמכוונים לכתיבת קוד, רפואה, משחקי תפקידים ומתמטיקה. בנוסף שולבו כאן מאגרי שיחות גדולים כמו lmsys-chat-1m ודאטהסטים שעברו התאמות לפורמט ChatML על ידי יוצרים עצמאיים.
הכרטיס מציג את המאגר שנשמר בקובץ MoD_cleaned.jsonl, אך הוא אינו מפרט תהליך סינון טכני קונקרטי, בדיקות כפילויות מעבר למה שהיה במקורות, או הסרה של דאטה רעיל. מדובר באיחוד נרחב של תוכן קיים ולא ביצירה מקורית של שיחות.
מתאים ל
- אימון מודלי מומחים
אימון מקדים או כוונון של ארכיטקטורות MoE שצריכות מגוון נושאים רחב.
- אימון מודל הוראות כללי
דוגמאות מרובות של שאלות ותשובות בתחומי קוד, רפואה ומשחקי תפקידים.
- ניסויי התמחות
בדיקת יכולת המודל לנתב בקשות למומחים שונים ללא אימון מודרך מראש.
איפה זה נופל
היוצר לא מציין שום מידע על שפות שאינן אנגלית, ולכן אם אתם בונים על עברית אין לכם מה לחפש כאן מעבר לשאריות מקריות שקיימות בשיחות רשת. הנתונים מבוססים על ערבוב של מאגרים שונים שנאספו סביב סוף 2023 ותחילת 2024, כולל שיחות סינתטיות שנוצרו על ידי מודלים מסחריים כמו GPT-4 וקלוד.
הכרטיס לא מתעד שום בדיקת איכות ידנית, הסרת רעלים או בדיקה של זיהום בנצ'מרקים. בנוסף, האימון שהיוצר ביצע על הדאטהסט בעצמו נקטע באמצע בגלל בעיות תקציב ומחשוב, כך שאין תיעוד מקיף על הביצועים המדויקים שהדאטה הזה מייצר.
שאלות
נפוצות
האם המאגר מתאים לשימוש מסחרי?
הרישיון המוצהר הוא Apache 2.0 שמאפשר שימוש מסחרי מלא. הבעיה היא שהנתונים כוללים פלטים של מודלים קנייניים כמו אלה של OpenAI ו־Anthropic, שתנאי השימוש שלהם מגבילים אימון מודלים מתחרים. אם אתם בונים מוצר מסחרי, כדאי לקחת את הסיכון המשפטי הזה בחשבון.
האם הדאטהסט כולל תוכן בעברית?
הכרטיס לא מדווח על תמיכה בעברית והמקורות שנאספו אליו מבוססים כמעט לחלוטין על אנגלית. ייתכן שיש פירורי שיחות בעברית מתוך מאגר השיחות הכללי של lmsys, אך זה לא מקור שאפשר להסתמך עליו לצורך אימון מודל שמיועד לשפה העברית.
איך הדאטהסט הזה נאסף בפועל?
לוקאס אסף ואיחד קבצים מעשרות מאגרים קיימים של יוצרים מוכרים בקוד הפתוח, ביניהם OpenHermes, Capybara, ומאגרי ChatML של Locutusque. הוא לא יצר שיחות חדשות, אלא בנה אוסף מצרפי של כ־780,000 שיחות ShareGPT שנועד לייצג תחומי ידע שונים.
במה הוא שונה ממאגרים כמו OpenHermes?
במקום להשתמש רק באוסף אחד, המאגר הזה משלב את OpenHermes יחד עם עשרות מקורות נוספים לכדי קובץ אחד. המטרה בחיבור הזה הייתה ליצור גיוון מקסימלי עבור מודלים מבוססי MoE, אך החיסרון הוא פחות בקרה וסינון ממה שיש במאגרי המקור.
איך טוענים
הקובץ המרכזי במאגר נקרא MoD_cleaned.jsonl והוא מונח כקובץ טקסט רגיל שניתן להוריד ישירות או לטעון בעזרת ספריית datasets של Hugging Face. אין צורך באישור גישה מראש או במילוי טפסים, המאגר פתוח לכולם.
מאחר שמדובר בכ־780,000 שיחות ShareGPT שלמות, הקובץ שוקל לא מעט וידרוש זיכרון עבודה מתאים בזמן הטעינה והעיבוד הראשוני. השדות שתצטרכו לחלץ לצורך אימון הם תורות השיחה בין המשתמש לעוזר. כדאי להכין מראש סקריפט שממפה את המבנה הפנימי לפורמט שמודל המטרה שלכם מצפה לו לפני שמתחילים לחלק את הנתונים לעיבוד.
from datasets import load_dataset
ds = load_dataset("Crystalcareai/MoD")הרישיון
הרישיון שמוגדר במאגר הוא apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, ואינו מחייב אתכם לשחרר את המודלים שלכם באותו רישיון, כל עוד אתם שומרים על הודעת זכויות היוצרים המקורית. עם זאת, המאגר מכיל שיחות שהופקו על ידי מודלים מסחריים, מה שעשוי להתנגש עם תנאי השימוש שלהם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים