indic-align
קוד פתוחai4bharatcc-by-4.02024-03-05
אוסף נתונים לאימון מודלים על הוראות וסינון רעילות ב־14 שפות הודיות ובאנגלית. הוא מיועד למי שבונה מודלים לשפות תת-היבשת וצריך שילוב של שיחות, תרגומים ובטיחות.
- 1,281הורדות בחודש
- 21לייקים
מה זה
המאגר מחולק לשני חלקים עיקריים: הוראות ורעילות. החלק של ההוראות מכיל תרגומים של דאטהסטים מוכרים כמו Dolly, OpenAssistant ו־WikiHow, לצד פניות מקוריות מקהל ב־Anudesh ושיחות סביב ערכי ויקיפדיה. רוב הנפח מגיע מ־IndoWordNet, שהומר לזוגות של הוראה ותשובה בהיקף של עשרות מיליוני רשומות, וכולל פלטים קצרים מאוד של מילים והגדרות.
חלק הרעילות מתמקד בסירובים של המודל. הוא כולל תרגום של פרומפטים מ־Anthropic HH-RLHF עם סירובים שנוצרו על ידי Llama 2 70B Chat, ומאגר סינתטי בשם Toxic Matrix שבו פרומפטים רעילים נוצרו עם Mistral 7B ותשובות בטוחות נכתבו שוב על ידי Llama 2.
רוב הטקסטים שאינם באנגלית עברו תרגום ותעתיק לטיני באמצעות המודל IndicTrans2. במקום שיחות אנושיות מקוריות בשפות היעד, מדובר בעיקר בטקסטים שנוצרו במקור באנגלית ועברו תרגום מכונה, או בשיחות שנוצרו כולן על ידי מודלים.
מתאים ל
- אימון הוראות לשפות הודיות
כוונון עדין של מודלי שפה לעבודה עם הנחיות ושיחות בהינדי, בנגלי ושפות נוספות מהאזור.
- בניית מנגנוני סירוב ובטיחות
אימון מודלים לדחיית בקשות מזיקות בשפות היעד באמצעות שימוש בחלקי HH-RLHF ו־Toxic-Matrix.
- הרחבת מילון וידע לשוני
שימוש ברשומות IndoWordNet להטמעת אוצר מילים ויחסים סמנטיים במסגרת שאלות ותשובות.
איפה זה נופל
הבעיה המרכזית היא הסתמכות כבדה על תרגום מכונה של IndicTrans2 וטקסט סינתטי מ־Llama 2. טעויות תרגום ותרגום מילולי מאנגלית עלולים לגרור ניסוחים לא טבעיים בשפות היעד. שפות שמיות כמו עברית או ערבית לא קיימות כאן בכלל, המאגר מוגבל לשפות הודיות ספציפיות ואנגלית. בנוסף, חלוקת האורך אינה מאוזנת: IndoWordNet מציף את המאגר בדוגמאות של מילים בודדות, בעוד שאר המאגרים קטנים בהרבה ומכילים תשובות ארוכות.
שאלות
נפוצות
האם יש במאגר נתונים בעברית?
לא. המאגר מיועד אך ורק לשפות הודיות כמו הינדי, בנגלי וטמילית, לצד אנגלית. אין בו ייצוג לשפות שמיות.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון של המאגר עצמו הוא CC BY 4.0 שמתיר שימוש מסחרי עם מתן קרדיט. עם זאת, חלק גדול מהתשובות נוצר בעזרת Llama 2 70B, ולכן יש לוודא שהשימוש שלכם עומד גם בתנאי הרישיון של מטא.
מאיפה הגיעו הנתונים של השיחות?
רוב הנתונים תורגמו ממאגרים קיימים באנגלית כמו Dolly ו־ShareGPT באמצעות מודל התרגום IndicTrans2. השיחות החדשות, כמו ב־Wiki-Conv, נוצרו כסימולציה בין מודלים של Llama 2 ולא על ידי כותבים אנושיים.
איך טוענים
הנתונים יושבים ב־52 קבצי Parquet שמחולקים לפי תת-המאגרים, ללא צורך באישור גישה מיוחד. אפשר למשוך אותם ישירות דרך ספריית datasets באמצעות המזהה ai4bharat/indic-align. בגלל שחלק ה־IndoWordNet לבדו מכיל מעל שבעים מיליון שורות ומפוצל לתשעה קבצים, כדאי להגדיר מראש הורדה רק של התת-מאגרים שאתם צריכים ולא למשוך את כל המאגר בבת אחת. המבנה מבוסס על שדות של הוראה ותגובה, אך מספר התורות משתנה מחילופי דברים בודדים ועד לשיחות של כתשעה תורות ב־Wiki-Conv.
from datasets import load_dataset
ds = load_dataset("ai4bharat/indic-align")הרישיון
המאגר מופץ תחת רישיון CC BY 4.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, כל עוד נותנים קרדיט מתאים ליוצרים. עם זאת, חלקים נרחבים מהתשובות הופקו באמצעות Llama 2 70B, ולכן כדאי לבדוק אם תנאי השימוש של מטא על אימון מודלים מתחרים חלים על התוצרים שלכם לפני שמשלבים אותם במוצר מסחרי.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס