indic-instruct-data-v0.1
קוד פתוחai4bharatרישיון לא דווח2024-01-18
המאגר מרכז הוראות באנגלית ובהינדי, עם דגש על שילוב בין תרגום מכונה לתוכן ייעודי. הוא נבנה עבור מי שרוצה לאמן מודלים לפעול בצורה חלקה בהינדי לצד אנגלית.
- 471הורדות בחודש
- 26לייקים
מה זה
המאגר הוא אוסף של סטים מוכרים של הוראות שמחולקים לפי מקורות, כגון Dolly, תת-קבוצה של 67 אלף דוגמאות מתוך Flan v2, תת-קבוצה של 5 אלף דוגמאות מתוך Anthropic-HHH, לצד OpenAssistant v1 ותת-קבוצה של 50 אלף דוגמאות מתוך Lmsys-Chat. חלק מהנתונים תורגמו מאנגלית להינדי באמצעות המודל IndicTrans2, וכדי לבדוק איכות צירפו ציוני chrF++ מתרגום חוזר.
בנוסף לתרגומים יש כאן שני מקורות שנבנו במיוחד להינדי. הראשון מבוסס על תוכן מאתר wikiHow, והשני נקרא Anudesh, והוא כולל פרומפטים שנאספו במיקור המונים עם תשובות שנוצרו באמצעות המודל Llama 2 70B.
מתאים ל
- אימון הוראות בהינדי
כוונון עדין של מודלי שפה למתן תשובות ומילוי פקודות בהינדי לצד אנגלית.
- מחקר על איכות תרגום מכונה
בדיקת ההשפעה של נתוני אימון מתורגמים על ביצועי מודל באמצעות ציוני chrF++.
- הערכת מודלים רב-לשוניים
בחינת יכולת ההבנה של מודלים בהינדי מול תרגומים של סטים מוכרים כמו Dolly ו־Flan.
איפה זה נופל
המאגר מכסה רק שתי שפות, אנגלית והינדי. אין בו עברית כלל, ולכן הוא לא רלוונטי לאימון מודלים מקומיים בישראל אלא אם אתם עובדים על שווקים בהודו. חלק גדול מהנתונים בהינדי הוא תרגום מכונה, עם כל השגיאות והתחביר הלא טבעי שנלווים לכך, וחלק מתשובות המקור בהינדי נוצרו על ידי Llama 2 70B, כך שהן סוחבות את ההטיות והמגבלות של המודל הזה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא מומלץ כרגע. בדף המאגר לא מוגדר רישיון, והחוקרים מפנים למאמר שלהם לבדיקת הרישיונות. מעבר לכך, המאגר מורכב משילוב של מקורות כמו Llama 2 ו־OpenAssistant, שלכל אחד מהם תנאים משלו.
האם יש במאגר נתונים בעברית?
לא. המאגר מתמקד אך ורק באנגלית ובהינדי. הוא לא יסייע בפיתוח מודלים לעברית.
איך נאספו התשובות בחלק של Anudesh?
הפרומפטים נאספו מאנשים במיקור המונים, אבל התשובות עצמן לא נכתבו על ידי אדם. הן הופקו ישירות על ידי מודל השפה Llama 2 70B.
באילו פורמטים הנתונים שמורים וכמה רשומות יש שם?
הקבצים שמורים בפורמט Parquet, בחלוקה של 17 קבצים לפי שפה ומקור נתונים. סך הרשומות בכלל המאגר נע בין חמשת אלפים ל־400 אלף.
איך טוענים
הנתונים מחולקים ל־17 קבצי Parquet לפי המקור והשפה, למשל קבצים נפרדים לאנגלית ולהינדי עבור Anudesh או Dolly. אפשר לטעון ישירות דרך ספריית datasets בלי צורך לבקש אישור גישה מראש. ברישומי התרגום כדאי לשים לב לציוני ה־chrF++ כדי לסנן דוגמאות פחות מדויקות לפני האימון.
from datasets import load_dataset
ds = load_dataset("ai4bharat/indic-instruct-data-v0.1")הרישיון
בעמוד הדאטהסט לא מוגדר רישיון רשמי, והיוצרים מפנים למאמר הטכני שלהם לפרטים נוספים. במצב כזה, מבחינה משפטית השימוש מסוכן מאוד. אי אפשר לדעת אם מותר להשתמש בזה למוצר מסחרי, וכל שילוב שלו באימון מודל עלול לחשוף אתכם להפרת זכויות יוצרים של המקורות השונים.