sft_zh

מה זה

המאגר מאחד תחת קורת גג אחת נתוני אימון להוראות שמגיעים מפרויקט הטייגרבוט הפתוח, בלי צורך להוריד כל חלק בנפרד. הלב של הדאטה הוא קובץ של חצי מיליון דוגמאות בפורמט אלפקה בסינית, שאליו צירפו סטים ממוקדים וקטנים בהרבה.

בין הקבצים הנוספים יש שאלות ותשובות מאנציקלופדיות עם אלף רשומות, אלף דוגמאות של חידות, אלף שאלות על ספרות מופת, וחמשת אלפים דוגמאות להבנת הנקרא. בנוסף תמצאו שם שנים עשר אלף רשומות של שאלות ותשובות ממאגר שנקרא אץ' סי שלוש, ועשרת אלפים שאלות ותשובות שמקורן בפלטפורמת ז'יהו. הכרטיס לא מפרט תהליכי סינון, בדיקות איכות או ניקוי שבוצעו על הטקסטים הללו.

מתאים ל

• אימון הוראות בסינית

  אימון בסיסי של מודלים לעקוב אחרי הוראות משתמש בסינית באמצעות חצי מיליון רשומות אלפקה.

• שיפור הבנת הנקרא

  חידוד יכולות הבנת טקסט בסינית בעזרת חמשת אלפים דוגמאות ייעודיות שכלולות במאגר.

• מענה לשאלות ידע

  שילוב נתוני שאלות ותשובות מאנציקלופדיה, ספרות ופורומים לשיפור מענה כללי בשפה הסינית.

איפה זה נופל

אם אתם בונים מוצר בעברית או באנגלית, אין לכם מה לחפש כאן. כל החומר בסינית בלבד, והוא פורסם באמצע שנת 2023. הבעיה העיקרית היא חוסר השקיפות של הכרטיס. היוצרים לא מפרטים איך הם סיננו זבל או הטיות, מאיפה הגיע התרגום של חצי מיליון הוראות האלפקה, והאם הנתונים של אתרים כמו ז'יהו נאספו בצורה חוקית ומבוקרת. לפני שאתם דוחפים את זה למודל, אתם חייבים לדגום את איכות השפה והתשובות בעצמכם.

איך טוענים

אתם טוענים אותו ישירות דרך ספריית הדאטהסטס הרגילה של פייתון עם השם של המאגר. המאגר ציבורי לחלוטין ואין צורך לבקש אישור גישה מראש. כל הנתונים יושבים בקובצי ג'ייסון נפרדים שמתאימים לכל תחום, כך שאפשר לפצל את הטעינה לפי הצורך שלכם במקום לקחת את כל החבילה בבת אחת.

from datasets import load_dataset

ds = load_dataset("TigerResearch/sft_zh")

הרישיון

המאגר מוגדר תחת רישיון אפאצ'י שתיים אפס. זה אומר שמותר להשתמש בו לצרכים מסחריים, לשנות אותו ולשלב אותו במודלים בלי לשחרר את הקוד שלכם באותו רישיון. כל מה שאתם חייבים לעשות זה לשמור על הודעת זכויות היוצרים והייחוס ליוצרים המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗