tapaco

מה זה

הנתונים מבוססים על משפטים מתוך פרויקט Tatoeba, שבהם דוברי שפות שונים תרגמו או הזינו משפטים שחולקים משמעות זהה. התיוג והחיבור של המשפטים לכדי קבוצות פרפרזה בוצעו בצורה ממוחשבת. כל רשומה כוללת את מזהה קבוצת הפרפרזה, מזהה המשפט, הטקסט עצמו, רשימות, תגיות ושם השפה.

המבנה מחולק לפי שפות שונות בתצורות נפרדות, לצד תצורה אחת שמרכזת את כלל השפות יחד תחת השם all_languages. סך הכל תצורת כל השפות מכילה 1926192 דוגמאות בפיצול האימון, והיא מאגדת בתוכה עשרות שפות שנשענות על קלט קהילתי מתנדב.

מתאים ל

• אימון מחוללי פרפרזות

  לימוד מודלים לייצר ניסוחים חלופיים לאותו משפט באמצעות קיבוץ המשפטים לפי מזהה הקבוצה.

• סיווג דמיון סמנטי

  אימון מודל שמזהה האם שני משפטים שונים מביעים בדיוק את אותו הרעיון.

• בדיקת מודלים בעברית

  שימוש בתצורת he שכוללת עשרות אלפי משפטים לצורך הערכת ביצועי ניסוח בשפה.

איפה זה נופל

מקור המשפטים הוא בקהילת Tatoeba, ולכן הטקסטים נוטים להיות קצרים ופשוטים יחסית, כמו משפטי לימוד שפות, ולא שפה יומיומית מורכבת או מקצועית. יש פערים עצומים בהיקף החומר בין שפות שונות, כאשר לחלקן יש מאות בודדות של רשומות ולאחרות מעל מאה אלף. תהליך החיבור לקבוצות נעשה באופן ממוחשב, כך שעלולות ליפול שגיאות הצמדה. המאגר מכיל רק פיצול אימון יחיד, ולכן צריך לייצר חלוקת ולידציה ובדיקה עצמאית לפני שמתחילים להעריך ביצועים.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets באמצעות ציון המזהה community-datasets/tapaco ובחירת התצורה הרצויה, למשל השפה הספציפית או all_languages. אין צורך באישור גישה מיוחד, והקבצים יושבים בפורמט parquet. נפח ההורדה של כלל השפות עומד על 65568453 בתים, והגודל הכולל בזיכרון הוא 162796380 בתים. השדות העיקריים שמעניינים מודלים הם paraphrase וכן paraphrase_set_id שמאפשר לחבר בין משפטים שונים בעלי אותה משמעות.

from datasets import load_dataset

ds = load_dataset("community-datasets/tapaco")

הרישיון

הרישיון הוא cc-by-2.0. הרישיון מאפשר שימוש מסחרי, שינוי והפצה של הנתונים, אך מחייב מתן קרדיט מתאים ליוצרים וציון שינויים שנעשו. אין כאן דרישה להפצה תחת אותו רישיון עבור תוצרים, כך שמודל שאומן על המאגר לא מחויב להיפתח ברישיון זהה.

הרישיון המלא ב־Hugging Face ↗