alpaca-data-pt-br
קוד פתוחdominguesmcc-by-nc-4.02023-03-17
תרגום מכונה לפורטוגזית של גרסת האלפקה המנוקה. הוא מיועד למי שרוצה לאמן מודלים על הוראות מגוונות בלי לתקן בעצמו את השגיאות הידועות של המאגר המקורי.
- 352הורדות בחודש
- 34לייקים
מה זה
המאגר כולל 52,002 דוגמאות של משימות ותשובות שנועדו לכיוונון מודלים לפי הוראות. המקור הוא פרויקט Alpaca המקורי מסטנפורד, שבו טקסטים יוצרו באמצעות text-davinci-003 לפי שיטת Self-Instruct בעלות נמוכה יחסית, אך כאן מדובר בגרסה שעברה תרגום מכונה לפורטוגזית ברזילאית.
הבסיס לתרגום הוא המאגר Alpaca-Cleaned, שבו ניקו תקלות קשות מההפצה המקורית של סטנפורד. בין התיקונים נכללו מחיקת הזיות שנבעו מהפניות לאינטרנט, הפרדת הוראות שהודבקו יחד, השלמת פלטים ריקים, הסרת פקודות בלתי אפשריות ליצירת תמונות, ותיקון טעויות חישוב ומתמטיקה שהיו בכשמונים אחוז מהשאלות בתחום הזה.
כל רשומה בנויה מארבעה שדות מרכזיים: instruction שמגדיר את הפעולה המבוקשת, input שמוסיף הקשר אופציונלי ומופיע בכארבעים אחוז מהמקרים, output שמכיל את התשובה, ו־text שמאחד את כולם לתוך תבנית פרומפט מוכנה לאימון.
מתאים ל
- כיוונון מודל בפורטוגזית
אימון מודל שפה בסיסי להבנה ומענה להוראות מגוונות בפורטוגזית ברזילאית.
- מחקר על תרגום מכונה באימון
בדיקת ההשפעה של דאטה שעבר תרגום אוטומטי על ביצועי מודלים לעומת טקסט מקורי.
- הערכת יכולות מעקב פקודות
בחינת יכולת של מודלים קיימים לענות נכון על שאלות והנחיות בשפה הפורטוגזית.
איפה זה נופל
הנתונים עברו תרגום מכונה, ויוצר המאגר לא פירט באיזה מנוע תרגום השתמש או האם נעשתה בקרת איכות אנושית על הטקסט בפורטוגזית. תרגום אוטומטי עלול להכניס שגיאות תחביר, ניסוחים לא טבעיים או איבוד משמעות של הוראות טכניות. בנוסף, התוכן נוצר במקור על ידי מודל text-davinci-003 הישן ממרץ 2023, ולכן הוא סוחב איתו הטיות, תשובות שחלקן עדיין שגויות, וסגנון גנרי שמחייב סינון נוסף לפני שמכניסים אותו למוצר.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון המוגדר הוא CC-BY-NC 4.0, שאוסר במפורש כל שימוש מסחרי. המאגר מתאים לפרויקטי קוד פתוח לא מסחריים, למחקר אקדמי או לניסויי היתכנות פנימיים בלבד.
האם הדאטהסט כולל טקסטים בעברית?
לא, אין בו עברית כלל. כל הנתונים תורגמו לפורטוגזית מתוך המקור באנגלית, והוא מיועד לעבודה על שפה זו בלבד.
מה ההבדל בין המאגר הזה ל־Alpaca המקורי של סטנפורד?
המאגר הזה מבוסס על Alpaca-Cleaned, שבו סיננו ותיקנו שגיאות חישוב, כפילויות, פלטים ריקים והזיות שהיו בגרסה המקורית. בנוסף, הטקסטים תורגמו במלואם מאנגלית לפורטוגזית.
איך נוצרו הנתונים שבמאגר?
ההוראות והתשובות נוצרו במקור מסינתזה של text-davinci-003 של OpenAI על בסיס שיטת Self-Instruct. לאחר ניקוי השגיאות בקהילה, יוצר המאגר תרגם אותם במכונה לפורטוגזית.
איך טוענים
טוענים את הנתונים דרך ספריית datasets ישירות מהמאגר dominguesm/alpaca-data-pt-br ללא צורך באישור גישה מקדים. המידע מגיע כקובץ Parquet יחיד שמכיל את כל חלוקת ה־train, כך שזמן ההורדה והטעינה קצר מאוד. בעבודה על האימון צריך לשים לב לשדה text שכבר כולל את העיטוף המלא, או להרכיב פרומפט מותאם אישית מתוך instruction, input ו־output בהתאם למבנה שהמודל שלכם דורש.
from datasets import load_dataset
ds = load_dataset("dominguesm/alpaca-data-pt-br")הרישיון
הרישיון הוא CC-BY-NC 4.0. המשמעות היא חופש מלא להשתמש במידע, לשנות אותו ולהפיץ אותו למטרות מחקר, לימוד או ניסויים פנימיים, תוך מתן קרדיט מתאים. שימוש מסחרי מכל סוג אסור לחלוטין. אם תאמנו מודל על הדאטהסט הזה, לא תוכלו להציע אותו כשירות בתשלום, למכור את המשקולות שלו או לשלב אותו במוצר שמייצר הכנסה.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא