Canarim-Instruct-PTBR-Dataset
קוד פתוחdominguesmcc-by-nc-4.02023-04-06
מאגר הוראות מגוון בפורטוגזית ברזילאית שמבוסס על תרגום מקורות מוכרים. הוא נבנה עבור מי שרוצה לאמן מודלים לעקוב אחרי פקודות בשפה הזו ללא מטרות רווח.
- 519הורדות בחודש
- 46לייקים
מה זה
המאגר מכיל מעל 300,000 שורות שמחולקות לשני חלקים עיקריים: אימון עם 316,000 רשומות, ובדיקה עם 1,519 רשומות. כל רשומה כוללת הוראה ופלט, ובחלק מהמקרים יש גם שדה קלט שמספק הקשר נוסף לביצוע המשימה. המשימות נעות בין שאלות ידע בסיסיות לבין סיכום נקודות מורכבות על סמך טקסט נתון.
התוכן נאסף מתרגום והתאמה של חמישה מקורות מוכרים מעולם ה־NLP: אלפקה בפורטוגזית, אוסף ההוראות של cahya, ושלושה מאגרים מבית HuggingFace הכוללים הוראות עצמיות ומשימות מתוך super_natural_instructions. היוצר מציין במפורש כי המידע עבר תרגום, ולכן ייתכנו שגיאות תרגום בטקסט הסופי.
מתאים ל
- אימון מודלים בפורטוגזית
כוונון מודלי שפה פתוחים להבנת פקודות ומענה בפורטוגזית ברזילאית למטרות מחקר אקדמי.
- בדיקת יכולות תרגום
הערכת עמידות של מודלים מול הוראות שתורגמו מאנגלית לפורטוגזית על סט הבדיקה המצורף.
- ניתוח שגיאות תרגום
חקר פערים סמנטיים שנוצרים מתרגום אוטומטי של דאטהסטים מבוססי יצירה סינתטית.
איפה זה נופל
הבעיה המרכזית כאן היא איכות התרגום. היוצר מודה בגלוי שיש שגיאות תרגום בנתונים, מה שעלול לייצר ניסוחים לא טבעיים או שגיאות עובדתיות במודל המאומן. בנוסף, כל המאגר מתמקד בפורטוגזית ואינו מכיל עברית כלל. לפני שמכניסים את החומר למחקר, חובה להריץ בדיקות איכות ידניות כדי לוודא שהתרגומים האוטומטיים של ההוראות המקוריות מ־2023 לא פגעו בהיגיון הלוגי של המשימות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, הרישיון הוא cc-by-nc-4.0 שאוסר שימוש מסחרי מכל סוג. האיסור נובע מכך שהנתונים מכילים פלטים שמקורם במודלים של OpenAI, שאוסרים על אימון מודלים מסחריים מתחרים. כל תוצר או מודל שתאמנו עליו יישאר מוגבל לשימוש מחקרי בלבד.
האם המאגר כולל תוכן בעברית?
המאגר מיועד כולו לפורטוגזית ברזילאית ואין בו שום תוכן בעברית. הוא מתאים רק למי שמפתח מערכות שמיועדות לתמוך בשפה הזו. אם אתם מחפשים חומר להוראות בעברית, תצטרכו לפנות למאגרים אחרים.
מאיפה הנתונים נאספו בפועל?
המאגר מבוסס על שילוב ותרגום של חמישה מקורות מוכרים ברשת, בהם גרסאות של Alpaca ו־Self-instruct. בסך הכל נאספו מעל 316,000 שורות אימון ועוד כאלף וחמש מאות שורות לבדיקה. חלק מהמידע תורגם מאנגלית וחלק נלקח מיוזמות קיימות בפורטוגזית.
איך טוענים
הנתונים שמורים כקבצי Parquet מפוצלים לקובץ אימון וקובץ בדיקה, ללא צורך בהרשאה מיוחדת כדי להוריד אותם מהמאגר. בזמן הטעינה תעבדו בעיקר עם השדות instruction, input ו־output. היוצר מספק תבנית פרומפט בסיסית בפייתון שמשלבת את שדה ההקשר במידה והוא קיים, ומכינה את הטקסט הסופי ישירות לתהליך הכוונון.
from datasets import load_dataset
ds = load_dataset("dominguesm/Canarim-Instruct-PTBR-Dataset")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-4.0, מה שאומר שהוא מיועד למטרות לא מסחריות בלבד, ומחייב מתן קרדיט ליוצר וציון שינויים שבוצעו. הסיבה להגבלה הזו היא שהנתונים נשענים על פלטים ממודלים של OpenAI דרך מאגרי מקור כמו אלפקה. מודל שתאמנו על הדאטהסט הזה יוגבל באותם תנאים, ולא תוכלו לשלב אותו במוצר מסחרי.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא