yayi_uie_sft_data
קוד פתוחwenge-researchapache-2.02023-12-13
מאגר לאימון מודלים של חילוץ מידע מובנה באנגלית ובסינית, שמכיל מיליוני רשומות המחולקות לישויות, יחסים ואירועים. הוא מתאים למי שבונה מודל ייעודי לעיבוד טקסטים מורכבים במגוון תחומים מקצועיים.
- 241הורדות בחודש
- 46לייקים
מה זה
המאגר כולל בין מיליון לעשרה מיליון רשומות ומחולק לשפות ביחס של חמישים וארבעה אחוזים בסינית וארבעים ושישה אחוזים באנגלית. הנתונים פרוסים על פני שנים עשר תחומים שונים, ובהם פיננסים, ביוכימיה, רפואה, תעשייה, אבטחה ונושאים כלליים. המקור המדויק של הטקסטים ושיטות הסינון לא פורטו על ידי היוצרים בכרטיס.
התוכן מאורגן בשלוש משימות מרכזיות של חילוץ מידע. זיהוי ישויות כולל עשרים ושמונה סוגים בסינית ומאה ושלושים באנגלית. חילוץ יחסים מכסה מעל מאתיים ושלושים סוגי קשרים בכל אחת מהשפות, כמו בעלות, תעסוקה או ייצור. בנוסף, חילוץ אירועים כולל שמונים וארבעה סוגים בסינית וארבעים וחמישה באנגלית, עם עשרות עד מאות תפקידי טיעונים מוגדרים.
מתאים ל
- אימון מודלי ישויות רב תחומיים
כיסוי של מאה ושלושים סוגי ישויות באנגלית מאפשר לאמן מזהה ישויות רחב במיוחד לטקסטים מקצועיים.
- בניית גרפי ידע
מיפוי של יותר ממאתיים ושלושים סוגי יחסים בין שתי ישויות מתאים לחילוץ קשרים מתוך טקסטים פיננסיים ומדעיים.
- זיהוי אירועים ומשתתפים
איתור התרחשויות כמו גיוסי כספים, עזיבת בכירים או פגישות, לצד התפקידים של הגורמים המעורבים בטקסט.
איפה זה נופל
החיסרון המרכזי למפתח הישראלי הוא היעדר מוחלט של עברית. המאגר כולל אך ורק סינית ואנגלית, כאשר קיים פער עמוק בין השפות בכיסוי הסכמות. בסינית יש דגש חזק על אירועים עסקיים עם שמונים וארבעה סוגים, בזמן שבאנגלית יש פחות ממחצית מכך, אך באנגלית מגוון הישויות רחב משמעותית. הכרטיס לא מציין כיצד הטקסטים סוננו, מה מקורם או האם נעשה אימות אנושי לתוויות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון המדווח הוא Apache 2.0, שמאפשר שימוש מסחרי מלא באימון מודלים או בעיבוד הנתונים. התנאי העיקרי הוא שמירה על תנאי הרישיון והודעת זכויות היוצרים המקורית של היוצרים.
האם יש במאגר נתונים בעברית?
לא, אין בו עברית כלל. הנתונים מתחלקים אך ורק בין סינית, המהווה חמישים וארבעה אחוזים מהתוכן, לבין אנגלית, המהווה ארבעים ושישה אחוזים. לטקסטים מקומיים תצטרכו לבצע התאמה או לתרגם את הסכמות.
איך הנתונים נאספו והאם הם עברו סינון ידני?
כרטיס המאגר לא מפרט את מקור הטקסטים או את תהליך הסינון והתיוג. ידוע רק שהם מחולקים לשנים עשר תחומים כמו רפואה, פיננסים ותעשייה, כך שמומלץ לבדוק מדגמית את איכות התיוג לפני שמתחילים ריצת אימון יקרה.
איך המידע מאורגן בתוך הקבצים להורדה?
המאגר מציע קובצי JSONL המחולקים לפי משימות החילוץ, כמו קובץ לישויות, קובץ ליחסים וקובץ לאירועים, לצד קובצי אימון ומבחן כלליים. החלוקה הזו מאפשרת לטעון רק את המשימה הדרושה למודל שלכם בלי להוריד ולסנן את הכל מחדש.
איך טוענים
הנתונים מחולקים ישירות לקובצי JSONL לפי משימות ופיצולים, כולל קובצי אימון ומבחן נפרדים, וכן קבצים ייעודיים לישויות, יחסים ואירועים. אין צורך לבקש אישור גישה מיוחד כדי להוריד את הקבצים מהמאגר, והטעינה מתבצעת ישירות דרך ספריית הדאטהסטים הרגילה של הוגינג פייס או בקריאה ישירה של קובצי הטקסט.
from datasets import load_dataset
ds = load_dataset("wenge-research/yayi_uie_sft_data")הרישיון
המאגר שוחרר תחת רישיון Apache 2.0, שמתיר שימוש מסחרי, שינוי והפצה של הנתונים ושל מודלים שאומנו עליהם. הרישיון דורש שימור של הודעת זכויות היוצרים והצהרת הרישיון המקורית, ואינו מחייב אתכם לשחרר את הקוד או את המודל שלכם באותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים