TAIDE-14-tasks

מה זה

המאגר כולל 140 פרומפטים בלבד, שמיועדים לבחינת מודלים בסינית מסורתית עם מעט אנגלית. הפרומפטים נבנו בעזרת GPT-4 לפי משימות, תחומים ומילות מפתח, ולאחר מכן עברו בדיקה ואימות של מומחים אנושיים.

כל שורה בנתונים מייצגת בדיקה וכוללת נושא, סוג משימה, מילות מפתח, פרומפט וקלט. בנוסף, כל רשומה מחזיקה שתי תשובות ייחוס שנכתבו על ידי GPT-4 ונבדקו ידנית, אחת חיובית ואחת שלילית, כדי לאפשר השוואה ישירה.

התוכן מכסה 50 נושאים שונים כמו חוק, רפואה, פוליטיקה, פיננסים וטכנולוגיה, ומתחלק ל־14 משימות עיבוד שפה. בין המשימות תמצאו תרגום, סיכום, ניתוח רגש, חילוץ מידע, כתיבת מכתבים, שאלות ותשובות והיגיון בסיסי.

מתאים ל

• בנצ'מרק למודלים בסינית

  בדיקת איכות התוצרים של מודל שפה מול תשובות ייחוס בסינית מסורתית.

• הערכה בשיטת G-Eval

  שימוש בתשובות החיוביות והשליליות לכיול ציוני איכות אוטומטיים.

• בדיקת משימות רב לשוניות

  בחינת יכולות תרגום ועיבוד בין סינית מסורתית לאנגלית.

איפה זה נופל

זה לא מאגר לאימון אלא סט בדיקה קטן מאוד. 140 דוגמאות שמפוזרות על פני 14 משימות ו־50 נושאים נותנות כיסוי דק מאוד לכל תחום, כך שאי אפשר להסתמך עליו כמדד יחיד.

הטקסטים מגיעים מ־GPT-4 ומכוונים לסינית מסורתית ספציפית, כך שיש בהם הטיות מובנות של המודל שיצר אותם. אין כאן מילה אחת בעברית, ואם אתם מפתחים מוצר מקומי המאגר הזה פשוט לא רלוונטי לכם ישירות.

איך טוענים

המאגר ציבורי ופתוח להורדה ישירה דרך Hugging Face ללא צורך בהרשאה מיוחדת. כל המידע יושב בקובץ בודד בשם task14.csv, כך שלא תצטרכו להתמודד עם הורדות כבדות או תהליכי עיבוד מקדימים מורכבים.

העמודות החשובות לעבודה הן Prompt, Input, Positive Response ו־Negative Response, והיוצרים ממליצים להריץ עליהן בדיקות בשיטת G-Eval.

from datasets import load_dataset

ds = load_dataset("taide/TAIDE-14-tasks")

הרישיון

הרישיון הוא CC BY-NC 4.0, מה שאומר שאסור להשתמש בחומרים למטרות מסחריות בשום צורה. אתם חייבים לתת קרדיט ליוצרים. אם תאמנו או תכווננו מודל ישירות על הדוגמאות האלה, תסתכנו בהגבלת השימוש המסחרי בתוצר כולו, אם כי מטרת המאגר היא הערכה בלבד.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗