russian_instructions_2

מה זה

המאגר הזה הוא גרסה מעודכנת של דאטהסט הוראות ושאלות ותשובות ברוסית, שמכיל כעת כ־200 אלף דוגמאות לעומת 60 אלף בגרסה הקודמת. המבנה שלו פשוט מאוד ומבוסס על שדה יחיד בשם sample, שמחזיק מערך של שתי מחרוזות: הראשונה היא שאלת המשתמש או ההוראה שלו, והשנייה היא תשובת המודל.

התוכן עצמו מגיע משני מקורות שונים לפי התיעוד. חלקו מבוסס על חומר מתורגם שעבר שיפור באיכות התרגום, כולל ניקוי של דוגמאות קוד שתורגמו עקום בעבר. החלק השני, שהתווסף בעדכון המאוחר, מכיל יותר מ־50 אלף דוגמאות של שאלות, תשובות והוראות שנכתבו ישירות על ידי בני אדם. אין כאן חלוקה מובנית לחלקי אימון ומבחן בתוך הקבצים, אלא קובץ נתונים ראשי אחד שמכיל את כלל הצמדים.

מתאים ל

• אימון מודלי שיחה ברוסית

  כוונון עדין של מודלי שפה כדי שיידעו לענות להוראות ולנהל שיחה בסיסית ברוסית.

• סינון והעשרת נתונים

  שליפת 50 אלף הדוגמאות האנושיות לצורך הרכבת דאטהסט איכותי וממוקד יותר.

• הערכת ביצועי הבנת שפה

  בדיקת יכולת המודל לייצר תשובות עקביות לשאלות משתמשים במגוון נושאי שיחה.

איפה זה נופל

הנתונים כולם ברוסית בלבד ואין פה מילה בעברית או באנגלית. חלק ניכר מהדאטה עדיין מבוסס על תרגום מכונה, ולמרות הניקוי המוצהר של דוגמאות קוד פגומות, תרגומים אוטומטיים נוטים להכניס שגיאות תחביר וניסוחים מאולצים. בנוסף, לא מצוין מהיכן בדיוק נלקחו הטקסטים המקוריים או הדוגמאות האנושיות, ולכן חייבים לדגום את התשובות ידנית לפני שמכניסים מודל כזה לשירות פעיל כדי לוודא שאין שם הזיות או תוכן רעיל.

איך טוענים

הקובץ המרכזי מגיע בפורמט jsonl ושוקל כ־130 מגהבייט, כך שהוא יורד מהר מאוד ונטען ישירות בסיפריית datasets בלי שום צורך לבקש אישור גישה מראש. המבנה הפנימי דורש פירוק קל של שדה sample כדי להפריד בין ההוראה לתשובה לפני שמזינים אותו לצינור האימון.

from datasets import load_dataset

ds = load_dataset("Den4ikAI/russian_instructions_2")

הרישיון

המאגר מופץ תחת רישיון mit. זה רישיון מתירני שמאפשר שימוש מסחרי ומחקר ללא תשלום, ואינו מחייב אתכם לפתוח את הקוד של המודל שאימנתם עליו. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והייחוס למחבר, דניס פטרוב.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗