ru-big-russian-dataset

מה זה

המאגר מאגד בתוכו דאטהסטים שונים ברוסית, ומכיל פיצול אימון עם 1,710,601 דוגמאות שסוננו מתוך יותר משני מיליון רשומות, לצד פיצול בדיקה של 18,520 דוגמאות שלא עברו סינון. הטקסטים כוללים הוראות, שיחות, פתרון בעיות במתמטיקה ובפיזיקה, וקטעי קוד.

המפתחים העבירו את הנתונים תהליך של הסרת כפילויות, ניקוי ודירוג איכות בעזרת gpt-4.1. תנאי הסינון התבססו על סף ציונים מחמיר למניעת סירובים, חסימת דליפות מידע פרטי, בדיקת קוהרנטיות, בטיחות, ודיוק במילוי הוראות. תשובות שכוללות תהליכי חשיבה עטופות בתגיות ייעודיות, וחלק מהרשומות קיבלו פרומפטי מערכת חדשים או חלופיים.

המקורות מגוונים וכוללים עיבודים רוסיים לפרויקטים מוכרים כמו SlimOrca, UltraChat, OpenMathInstruct ונתונים מפרויקטים כמו Saiga של איליה גוסב ומאגרי VikhrModels. עמודת המקור מאפשרת לעקוב אחרי המוצא של כל דוגמה ספציפית.

מתאים ל

• אימון מודלי שיחה ברוסית

  לימוד מודלים לעקוב אחרי הוראות ולנהל שיחה ברוסית טבעית על בסיס מעל מיליון וחצי דוגמאות מפוקחות.

• הטמעת יכולות חשיבה

  אימון על דוגמאות הכוללות תגיות חשיבה מובנות כדי ללמד את המודל לפרק בעיות מורכבות לשלבים.

• פתרון בעיות מדעיות

  חיזוק יכולות המודל במתמטיקה, פיזיקה ומשימות חישוביות שמקורן במאגרי ידע מדעיים ברוסית.

איפה זה נופל

המאגר מיועד לרוסית בלבד, ואין בו שום תמיכה בעברית. חלק מהרשומות מבוססות על תרגומים או עיבודים של סטים באנגלית, מה שעלול לייצר ניסוחים מלאכותיים. היוצרים עצמם מציינים שתת מאגר מסוים עלול להכיל חשיבה מעורפלת, כך שלא כל שרשרת היסק שם מדויקת. בנוסף, סט הבדיקה לא עבר את הסינון הקפדני שנעשה בסט האימון, ולכן הוא עשוי להכיל שגיאות, דליפות מידע אישי או בעיות בטיחות. חובה לסנן אותו באופן עצמאי לפני שמשתמשים בו להערכת ביצועים.

איך טוענים

המאגר מחולק לעשרים קבצי Parquet, מהם תשעה עשר קבצים מרכיבים את סט האימון וקובץ יחיד שמכיל את סט הבדיקה. אין צורך לבקש אישור גישה מיוחד כדי להוריד אותו, והוא פתוח לטעינה ישירה דרך ספריית הנתונים המקובלת בפייתון. מבנה הנתונים כולל שדות של טקסט, פרומפטים של מערכת במקרים מסוימים, עמודת מקור שמציינת מאיזה פרויקט הגיעה הרשומה, ותגיות חשיבה סביב תהליכי פתרון. לפני שמתחילים להריץ אימון מלא, כדאי לטעון רק את קובץ הבדיקה כדי לוודא שהפורמט מתאים לצינור העבודה שלכם ושהמערכת מתמודדת נכון עם תגיות החשיבה המשולבות בטקסט.

from datasets import load_dataset

ds = load_dataset("ZeroAgency/ru-big-russian-dataset")

הרישיון

המאגר מפורסם תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי ומחקר ללא תשלום, ואינו מחייב אתכם לשתף את המודלים שתאמנו תחת אותו רישיון. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים שלכם. עם זאת, מכיוון שהנתונים נאספו ממאגרים רבים ושונים, מומלץ לוודא שהרישיונות של מקורות המקור אינם סותרים את תנאי השימוש שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗