M2Lingual
קוד פתוחServiceNow-AIcc-by-nc-sa-4.02024-06-13
שיחות מרובות תורות ב־12 שפות שנוצרו באמצעות הרחבה סינתטית של דוגמאות בסיס. הוא מיועד למי שמחפש לשפר מודלים בשיחות מורכבות שאינן באנגלית.
- 368הורדות בחודש
- 42לייקים
מה זה
המאגר כולל 182 אלף צמדי הוראות ותשובות, שנבנו כדי לאמן מודלים על דיאלוגים מרובי שלבים. הבסיס נלקח משני מקורות של פרויקט Aya, שכללו יחד 14,140 פניות מקוריות. משם, החוקרים השתמשו בשיטת אבולוציה בעזרת GPT-4 כדי לפתח את ההוראות לרמות מורכבות יותר, ובסוף יצרו שיחות שלמות עם מספר תורות.
המבנה מחולק לשלושה חלקים עיקריים שזמינים כקבצי parquet נפרדים: נתוני הבסיס, שלב ההרחבה הראשוני, והשיחות מרובות התורות. כל רשומה כוללת את היסטוריית השיחה המלאה, שפת הדיאלוג, סוג המשימה כמו סיכום או מענה לשאלות, הפרומפטים המדויקים שנשלחו ל־GPT-4 בתהליך ההרחבה, ומספר התורות בכל אינטראקציה.
מתאים ל
- אימון למחקר רב-לשוני
כוונון עדין של מודלי קוד פתוח לשיחות מרובות תורות בשפות נתמכות, במסגרת אקדמית בלבד.
- הערכת עומק שיחה
בדיקת יכולת המודל לשמור על הקשר לאורך זמן במשימות מורכבות בשפות שונות.
- מחקר על דאטה סינתטי
ניתוח ההשפעה של שיטות אבולוציה מבוססות GPT-4 על איכות השיחה בשפות מגוונות.
איפה זה נופל
אם קיוויתם לעבוד על עברית, היא לא קיימת כאן. המאגר מתמקד ב־12 שפות ספציפיות כמו סינית, יפנית, אוקראינית, פינית, אינדונזית ושפות אפריקאיות, אבל משאיר את רוב השפות האחרות בחוץ. בנוסף, כל התשובות והרחבות השיחה נוצרו סינתטית על ידי GPT-4, כך שהן סוחבות איתן את ההטיות, הניסוחים והשגיאות האופייניות למודל הזה. הנתונים עודכנו לאחרונה ביוני 2024, ואין בכרטיס פירוט על סינון תוכן רעיל או בדיקות איכות ידניות שבוצעו על הפלטים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון הוא CC BY-NC-SA 4.0, מה שאוסר במפורש שימוש מסחרי מכל סוג. הוא מתאים למחקר או לפרויקטים פנימיים שלא למטרות רווח בלבד.
האם המאגר מכיל נתונים בעברית?
לא. המאגר מוגבל ל־12 שפות: סינית, נפאלית, אוקראינית, יפנית, זולו, כורדית, איגבו, מלגשית, פינית, סינהלית, אינדונזית וסוואהילי.
איך הנתונים נאספו ונוצרו בפועל?
החוקרים לקחו כ־14 אלף דוגמאות בסיס מתוך פרויקט Aya. לאחר מכן השתמשו ב־GPT-4 ובשיטת Evol-Instruct כדי להרחיב אותן לשיחות שלמות ומורכבות.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets בלי צורך באישור גישה מיוחד. המאגר מאורגן בשלוש תצורות לבחירה: seed_data שמכיל רק את הדוגמאות המקוריות, seed_evol_data לשלב ההרחבה הראשון, או full_data שמושך את כל החבילה יחד. בעבודה על מודלי שיחה, השדות המרכזיים שתרצו לשלוף הם conversation שמחזיק את התורות המלאים, language לסינון שפות, ו־no_of_turns כדי לסנן לפי עומק השיחה.
from datasets import load_dataset
ds = load_dataset("ServiceNow-AI/M2Lingual")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-sa-4.0. המשמעות ברורה וחדה: אסור להשתמש בו לאימון מודלים מסחריים או לכל פעילות למטרות רווח. אם תשתמשו בו למחקר, חובה לתת קרדיט ליוצרים ולהפיץ כל נגזרת תחת אותו הרישיון בדיוק. בנוסף, חלקי הבסיס מגיעים מ־Aya ברישיון Apache 2.0, אבל המאגר השלם כפוף למגבלה הלא-מסחרית.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא