somos-clean-alpaca-es
קוד פתוחsomosnlpרישיון לא דווח2023-03-24
תרגום לספרדית של Clean Alpaca שנוצר כדי לשמש בסיס לתיוג ולניקוי קהילתי בהאקתון. המאגר מתאים למי שמחפש הוראות בספרדית אך זקוק למידע גולמי שמיועד לעבור סינון נוסף.
- 3,272הורדות בחודש
- 17לייקים
מה זה
המאגר מכיל רשומות של הוראות, קלט ופלט בספרדית, כתרגום ישיר של פרויקט Clean Alpaca שביצע versae מפרויקט BERTIN. המבנה נועד לעבודה בתוך כלי התיוג Argilla, והרשומות כוללות שדות תוכן לצד מזהים מקוריים שנועדו לאפשר הצלבה בין גרסאות שונות של מתנדבים.
הנתונים במאגר זה מייצגים את נקודת הפתיחה של האתגר, לפני הניקוי הידני והאוטומטי של הקהילה. המשתתפים התבקשו לסמן שגיאות ורשומות פסולות, למשל בעזרת תגיות כמו BAD INPUT, כך שהטקסטים עצמם עדיין כוללים בעיות תרגום או קטעים שנותרו באנגלית ולא סוננו מראש.
מתאים ל
- אימון מודל הוראות בספרדית
משמש בסיס כוונון עדין למודלי שפה, רק לאחר ניקוי עצמאי של רשומות באנגלית ותרגומים פגומים.
- פרויקט תיוג שיתופי
הקמה של סביבת Argilla לאימות ידני, סימון קלטים פגומים ושיפור איכות של נתוני שיחה.
- בדיקת איכות של תרגום מכונה
ניתוח הטעויות שנוצרו בתרגום ממאגר Clean Alpaca האמריקאי לשפה הספרדית.
איפה זה נופל
זהו מאגר גולמי שנועד לניקוי, ולא תוצר סופי. הכרטיס מודה במפורש שקיימות מעל מאה הוראות שנותרו באנגלית במקום בספרדית, לצד פלטים שגויים שמצריכים סינון ידני. המידע פורסם במרץ 2023 ומבוסס על Alpaca המקורית, ללא עברית כלל. שילוב הנתונים במודל ללא תהליך בדיקה יכניס שגיאות תרגום וטקסט מעורב ישירות למשקולות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מודל מסחרי?
לא מומלץ כרגע. היוצרים לא ציינו רישיון בפרטי המאגר, ולכן אין אישור שימוש מפורש. לפני שמשקיעים משאבי אימון למטרה מסחרית, צריך לפנות לקהילת somosnlp ולברר תחת איזה רישיון החומרים משוחררים.
האם יש במאגר טקסטים בעברית?
לא, אין בו עברית. כל הנתונים מתורגמים מאנגלית לספרדית, והם מכוונים למחקר ולפיתוח עבור השפה הספרדית בלבד.
מה ההבדל בין מאגר זה לבין גרסאות Alpaca אחרות?
המאגר מבוסס על Clean Alpaca, אך הוא תורגם לספרדית ונועד לשמש קלט ראשוני לתיוג קהילתי בהאקתון. הוא כולל תקלות תרגום ושאריות באנגלית שהמשתתפים התבקשו לנקות ידנית באמצעות Argilla.
האם הנתונים מוכנים לאימון מיידי?
עדיף שלא לאמן עליהם מיד. המאגר פורסם כנקודת מוצא לניקוי, והוא מכיל דוגמאות פגומות שהיו אמורות להימחק או להשתנות בשלבי ההאקתון.
איך טוענים
הנתונים מפוצלים לשני קובצי Parquet תחת תיקיית data, ונטענים ישירות באמצעות ספריית datasets או דרך Argilla. אין צורך באישור גישה מיוחד כדי להוריד את הקבצים. בעבודה שוטפת מול הנתונים, השדות העיקריים הם ההוראה, הקלט, הפלט והמזהה המקורי, שמחייב שמירה אם מתכננים למזג תיקונים מול גרסאות אחרות.
from datasets import load_dataset
ds = load_dataset("somosnlp/somos-clean-alpaca-es")הרישיון
היוצרים לא דיווחו על רישיון בעמוד המאגר. בהיעדר הגדרה ברורה, לא ידוע אם מותר להשתמש במידע למטרות מסחריות, מהן חובות הייחוס, או כיצד שימוש בו משפיע על מודל שתאמנו עליו. מבחינה משפטית, שימוש מסחרי במצב כזה הוא הימור לא מומלץ.