taco-datasets
קוד פתוחsaillabרישיון לא דווח2023-11-27
המאגר כולל סטים מוכרים של הוראות שתורגמו למגוון שפות במטרה לשפר ביצועים בשפות דלות משאבים. הוא מתאים למי שחוקר מעבר בין שפות במודלי שפה ורוצה לבחון שימוש בהסקה דרך אנגלית.
- 1,589הורדות בחודש
- 17לייקים
מה זה
המאגר כולל ארבעה חלקים עיקריים ששימשו למחקר TaCo. החלק הראשון הוא Multilingual Alpaca 52K עם תשובות GPT-4, החלק השני הוא Multilingual Dolly 15K, השלישי הוא דאטהסט TaCo עצמו, והרביעי הוא Multilingual Vicuna Benchmark שמיועד להערכת ביצועים.
המבנה של דאטהסט TaCo משלב נתונים מתוך Alpaca ו־Dolly בשיטה שכוללת שרשרת חשיבה מבוססת תרגום. בכל רשומה יש שדות של instruction ו־input בשפת היעד, ושדה ה־output מחזיר את ההוראה באנגלית, התשובה באנגלית, ולבסוף את התשובה בשפת היעד.
שלושת החלקים הראשונים נוצרו על ידי תרגום המקורות המקוריים באמצעות Google Cloud Translation, והכרטיס לא מדווח על תהליך סינון ידני או בדיקת איכות נוספת מעבר לתרגום המכונה. המאגר מציע את הנתונים בשפות רבות, כולל אמהרית, ארמנית, נפאלית, פרסית, ערבית ועוד עשרות שפות שנשמרו בתיקיות נפרדות.
מתאים ל
- אימון מודלים בשפות מועטות משאב
כוונון מודלים לשפות כמו נפאלית או פרסית באמצעות שרשרת הסקה שמתווכת דרך אנגלית.
- מחקר על העברה בין-לשונית
בדיקת ההשפעה של חשיבה באנגלית על איכות התשובה הסופית בשפת יעד אחרת.
- הערכת מודלים רב-לשוניים
הרצת מבחני ביצועים בעזרת סט הנתונים של Multilingual Vicuna Benchmark.
איפה זה נופל
כל התרגומים הופקו באמצעות כלי תרגום אוטומטי של גוגל, מה שעלול להכניס שגיאות תרגום, עיוותים תחביריים והזיות ישירות לתוך נתוני האימון. עברית אינה מופיעה ברשימת השפות המדווחות של המאגר. בנוסף, הנתונים מתבססים על דאטהסטים סינתטיים של GPT-4 ונתוני עבר, כך שקיימת הטיה מובנית שמגיעה ממודלי המקור וממערכת התרגום. לפני שילוב במערכת אמיתית, חובה לבדוק ידנית מדגם מהתשובות בשפת היעד כדי לוודא שהניסוחים הגיוניים.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפרויקט מסחרי?
לא. החוקרים מציינים בטקסט שהשימוש מוגבל למחקר ואקדמיה תחת תנאי CC BY-NC. בנוסף, הנתונים כוללים פלטים של מודלי OpenAI ותרגומי מכונה שמגיעים עם מגבלות שימוש מסחרי משלהם.
האם יש בדאטהסט נתונים בעברית?
עברית אינה נכללת ברשימת השפות המדווחות בכרטיס המאגר. המאגר מתמקד בעיקר בשפות כמו נפאלית, מאיטילי, פרסית, הינדי, ערבית ושפות נוספות.
איך המידע נאסף ועובד?
החוקרים לקחו את סטים קיימים של Alpaca 52K ו־Dolly 15K ותרגמו אותם באמצעות Google Cloud Translation. בסט TaCo הם חיברו בין ההוראות באנגלית לתרגומים בשפות היעד כדי ליצור תהליך חשיבה מובנה.
מה מייחד את המבנה של TaCo?
בשונה מדאטהסט הוראות רגיל, שדה הפלט כאן כולל שלב ביניים. המודל לומד לנסח את ההוראה והתשובה באנגלית לפני שהוא מפיק את הפלט הסופי בשפת היעד המבוקשת.
איך טוענים
טוענים את הנתונים ישירות מקובצי ה־JSON שנמצאים במאגר של Hugging Face, המחולק ל־407 קבצים לפי שפות ודאטהסטים שונים. אין צורך באישור גישה מיוחד, המאגר פתוח להורדה. הרשומות כוללות את השדות instruction, input ו־output, כאשר שדה הפלט מכיל טקסט מובנה שמשלב אנגלית ושפת יעד. יש לשים לב שההיקף הכולל נע בין מאה אלף למיליון רשומות, כך שכדאי למשוך רק את התיקייה של השפה הספציפית שמעניינת אתכם במקום את כל המאגר.
from datasets import load_dataset
ds = load_dataset("saillab/taco-datasets")הרישיון
בעמוד המאגר מופיע שהרישיון לא דווח, אך בטקסט עצמו החוקרים כותבים שהשחרור נעשה תחת CC BY-NC למטרות מחקר בלבד. המשמעות היא שאין אישור לשימוש מסחרי, ואי אפשר למכור מודל שאומן על הנתונים הללו. בנוסף, היוצרים מפנים לתנאי השימוש של Alpaca, Dolly וגוגל, שמגבילים שימוש בנתונים שנוצרו על ידי OpenAI.