TowerBlocks-v0.1
קוד פתוחUnbabelרישיון לא דווח2023-12-22
מאגר שיחות שנועד לאימון מודלים על משימות תרגום מורכבות, עריכה לשונית והערכת איכות בעשר שפות. הוא מאגד נתונים מעשרות מקורות מבוססים במבנה אחיד של הוראות.
- 376הורדות בחודש
- 29לייקים
מה זה
המאגר מרכז נתונים ששימשו לאימון המודל TowerInstruct-v0.1, ומכיל בין מאה אלף למיליון רשומות שמובנות כולן בפורמט של שיחה בין משתמש לעוזר. המקורות מגוונים מאוד וכוללים סדרות נתונים מוכרות כמו WMT, Flores, OPUS ו־PAWS-X, לצד מאגרי שיחה וקוד כמו UltraChat ו־Glaive Code Assistant. כדי להפוך מאגרי תרגום שטוחים לשיחות, החוקרים יצרו הוראות משתמש באמצעות תבניות של אפס דוגמאות או מספר דוגמאות בודדות.
המשימות בתוך המאגר לא מוגבלות רק לתרגום טקסט רגיל. אפשר למצוא שם תרגום מודע הקשר, תרגום עם מינוח מקצועי, עריכה אוטומטית של תרגום מכונה, זיהוי ישויות, ניסוח מחדש, וגם משימות הערכת איכות תרגום. חלק מהמקורות עברו סינון איכות ייעודי, בעוד שמקורות אחרים נלקחו ישירות מפיצולי פיתוח קיימים.
מתאים ל
- אימון מודל לעריכת תרגום
שימוש ברשומות ממאגרי QT21 ו־ApeQuest כדי ללמד מודל לתקן שגיאות בתרגום מכונה אוטומטי.
- תרגום מבוסס מינוח מוגדר
פיתוח יכולת תרגום שנצמדת למילון מונחים מקצועי באמצעות הנתונים המסוננים של WMT21 Terminology.
- הערכת איכות תרגום
בניית מודל שמדרג איכות של פלטי תרגום בהתבסס על נתוני הערכות אנושיות ומדדי MQM מ־WMT.
איפה זה נופל
אם אתם בונים על עברית, המאגר הזה פשוט לא רלוונטי. הוא מכסה רק עשר שפות: אנגלית, פורטוגזית, ספרדית, צרפתית, גרמנית, הולנדית, איטלקית, קוריאנית, סינית ורוסית. מעבר לזה, חלק גדול מההוראות נוצר באמצעות תבניות סינתטיות על גבי סטים קיימים, מה שעלול לייצר ניסוחים נוקשים או חזרתיים. המאגר נשען בחלקו על סטי פיתוח של מבחני ביצועים ישנים יחסית, ולכן כדאי לבדוק טוב שאין כאן חפיפה למבחני הערכה שאתם מריצים בעצמכם.
אותה משפחה
TowerBlocks יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם יש במאגר תמיכה בשפה העברית?
לא, עברית לא נכללת במאגר כלל. הנתונים מוגבלים לעשר שפות בלבד: אנגלית, פורטוגזית, ספרדית, צרפתית, גרמנית, הולנדית, איטלקית, קוריאנית, סינית ורוסית.
האם מותר להשתמש בזה לאימון מודל מסחרי?
אין לכך תשובה חד משמעית בכרטיס, כי לא הוגדר רישיון אחד לכל המאגר. היוצרים מפנים לרישיונות של כל אחד מהמקורות בנפרד, ולכן חובה לבדוק את התנאים של כל סט נתונים לפני שמשלבים אותם במוצר מסחרי.
איך נבנו ההוראות בפורמט השיחה?
יוצרי המאגר לקחו סטים קיימים של תרגום והערכה, והלבישו עליהם תבניות של הוראות משתמש בתצורות שונות. יוצאי הדופן הם UltraChat ו־Glaive Code Assistant, שכבר הגיעו מראש כמבנה של שאלות ותשובות.
מה הגודל של המאגר ואיך הוא שמור?
המאגר כולל בין מאה אלף למיליון רשומות. הוא מחולק לארבעה קבצי Parquet סטנדרטיים שמאפשרים טעינה נוחה ומהירה בסביבות פיתוח.
איך טוענים
הנתונים יושבים בארבעה קבצי Parquet תחת תיקיית data, וטוענים אותם ישירות דרך ספריית datasets בלי צורך באישור גישה מיוחד. המבנה כולל שדות ברורים: conversations שמחזיק את חילופי הדברים, dataset שמציין את המקור המקורי, lang שמגדיר את השפה או צמד השפות, task שמפרט את סוג המשימה, ו־split שמזהה את החלק שממנו המידע נלקח. החלוקה הזו מאפשרת לסנן בקלות רק משימות או שפות ספציפיות לפני שמתחילים אימון.
from datasets import load_dataset
ds = load_dataset("Unbabel/TowerBlocks-v0.1")הרישיון
בעמוד המאגר לא דווח רישיון אחיד. היוצרים מציינים במפורש שהנתונים נאספו ממקורות רבים ושונים, ומפנים לרישיונות המקוריים של כל מאגר ומאגר. המשמעות ברורה: אי אפשר להניח שמותר להשתמש בזה למוצר מסחרי בלי לעבור מקור מקור, במיוחד כשמשולבים שם סטים ממחקרים שונים שעשויים להגביל שימוש מסחרי או לדרוש שיתוף תחת אותו רישיון.