tasksource-instruct-v0

מה זה

המאגר מאגד נתונים מ־485 משימות שונות מתוך פרויקט tasksource, כשהמטרה היא חידוד יכולות הסקת מסקנות והבחנה. הדגש כאן הוא על משימות דיסקרימינטיביות כמו סיווג טקסט, תיוג טוקנים ושאלות רב-ברירה, כולל מאגרים ייחודיים כמו Dynasent ו־Dynahate שלא מופיעים באוספים מקבילים.

כדי לשמור על גיוון ולא לתת למשימה אחת להשתלט על האימון, החוקרים הגבילו את הגודל לתקרה של 30,000 דוגמאות לכל משימה. רוב התשובות במאגר הן תשובות קצרות וחד-משמעיות למבחנים אמריקאיים או לסיווגים לוגיים, ללא הסברים נלווים, מתוך כוונה תחילה למנוע סרבול בתשובות המודל.

מתאים ל

• אימון הוראות להסקה לוגית

  שיפור יכולת המודל לענות על שאלות רב-ברירה והסקה ישירה ומדויקת בלי למרוח טקסט מיותר.

• סיווג טקסטים ומזהים

  אימון מודלים גנרטיביים לבצע משימות סיווג קלאסיות ותיוג טוקנים דרך פורמט של קלט והוראה.

• שילוב עם flan-v2

  איזון מודלים על ידי שילוב יכולות הסיווג החזקות שכאן לצד מאגרי יצירה והסבר כלליים יותר.

איפה זה נופל

הנתונים כולם באנגלית, כך שלעבודה בעברית המאגר לא יועיל בלי תרגום או התאמה מראש. מעבר לכך, התשובות קצרות מאוד וללא שרשראות חשיבה או הסברים, מה שאומר שהמאגר לא מתאים למודלים שצריכים לנמק את התשובה שלהם. בנוסף, הוא כולל משימות שבודקות תוכן עוין ורעילות כמו Dynahate, ולכן כדאי לבדוק את התכנים לפני שחושפים תוצרים למשתמשי קצה.

איך טוענים

הנתונים שמורים בקובצי parquet סטנדרטיים ומחולקים לחלקי רכבת ומבחן, כך שאפשר לעבוד איתם ישירות בספריית datasets או דרך ספריית tasksource הייעודית בפייתון. אין צורך לבקש אישור גישה מראש. אם אתם מושכים את הנתונים ידנית מהקוד, שימו לב שהיוצרים ממליצים להגביל מראש את כמות הדוגמאות בעת הטעינה כדי לא להעמיס על הזיכרון.

from datasets import load_dataset

ds = load_dataset("tasksource/tasksource-instruct-v0")

הרישיון

המאגר מופץ תחת רישיון apache-2.0, שמאפשר שימוש מסחרי, שינוי והפצה של הנתונים ושל מודלים שאומנו עליהם, כל עוד שומרים על הודעת הרישיון והקרדיט למקור.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗