T-Wix
קוד פתוחt-techodc-by2025-07-17
מאגר אימון הוראות שמכיל כחצי מיליון שיחות ברוסית עם תוספת באנגלית. הוא פותר את המחסור בדאטה איכותי ומסונן למי שמאמן מודלים לפתרון בעיות והסקה בשפה הרוסית.
- 438הורדות בחודש
- 36לייקים
מה זה
המאגר מכיל 499,598 דוגמאות ברוסית שמחולקות בעיקר לשני תחומים. החלק הכללי כולל 468,614 שיחות במגוון נושאים כמו תכנות, מתמטיקה, שיחה כללית ומעקב אחר הוראות, לצד דוגמאות באנגלית והקשרים ארוכים שמגיעים עד 32,000 תווכים. חלק ההסקה מונה 30,984 דוגמאות שממוקדות בבעיות מורכבות במדעים ומתמטיקה, ומציגות שרשראות חשיבה מפורטות.
המקורות מבוססים על תרגומים לרוסית של מאגרי קוד פתוח מוכרים כמו smoltalk, WildChat, NuminaMath ודאטהסטים של נבידיה, לצד מאגרים מקומיים ברוסית. התשובות עברו סינון קפדני: החוקרים הריצו ניקוי כפילויות באמצעות LSH ודמיון וקטורי, סיננו רעשים בעזרת מודלי תגמול, ובחרו את התשובות הטובות ביותר מתוך פלטים שנוצרו במודלים כמו DeepSeek-V3-0324 ו־Qwen3-235B-A22B.
מתאים ל
- אימון מודל שיחה ברוסית
כוונון מודלי שפה למעקב אחר הוראות מורכבות וניהול שיחות רב שלביות ברוסית.
- חיזוק יכולות הסקה
שיפור יכולת פתרון בעיות מתמטיות ואלגוריתמיות באמצעות שרשראות חשיבה מובנות.
- עיבוד הקשרים ארוכים
בדיקה ואימון של יכולות סיכום ומענה לשאלות על טקסטים של עד 32,000 תווכים.
איפה זה נופל
אין כאן מילה אחת בעברית, כך שהוא לא יעזור ישירות למי שמאמן מודל מקומי לישראל. מעבר לכך, התשובות סונתזו ברובן על ידי מודלים מסחריים מתקדמים, מה שמייצר תלות באיכות התרגום ובנכונות של המודלים המייצרים. הכרטיס עצמו מתריע על קיום רעש והטיות שדורשים בדיקה וסינון מקדים לפני שמשלבים את המידע באימון מודל סופי.
שאלות
נפוצות
האם יש במאגר נתונים בעברית?
לא, המאגר כולל שיחות ברוסית ובאנגלית בלבד. מי שמחפש דאטה לאימון הוראות בעברית יצטרך לתרגם את הנתונים בעצמו או לחפש מקורות אחרים. הוא רלוונטי רק לצוותים שמפתחים מודלים רב-לשוניים שכוללים רוסית.
האם מותר להשתמש במאגר לפיתוח מסחרי?
הרישיון הראשי הוא ODC-BY-1.0 שמאפשר פעילות מסחרית תחת מתן ייחוס מתאים. יחד עם זאת, התוכן כולל פלטים שנוצרו על ידי מודלים חיצוניים כמו DeepSeek ו־Qwen. תנאי השימוש של אותם מודלים עשויים להגביל שימוש מסחרי מתחרה, ולכן מומלץ לבדוק את הרישיונות של מודלי המקור.
מאיפה הגיעו הנתונים ואיך אימתו אותם?
החוקרים אספו פרומפטים ממאגרי קוד פתוח מובילים ותרגמו חלק ניכר מהם לרוסית. לאחר מכן הם ייצרו מספר תשובות לכל שאלה באמצעות מודלים חזקים, וסיננו אותן בעזרת מודלי תגמול ובדיקות נכונות למשימות שניתן לאמת. הוסרו כפילויות ונשמרו בעיקר הדוגמאות המאתגרות ביותר.
במה הוא שונה ממאגרי SFT סטנדרטיים?
במקום איסוף פשוט של טקסט קיים, נעשה כאן סינון מבוסס קושי באמצעות מדד IFD ודגימת דחייה. בנוסף, הוא כולל חלק ייעודי של הסקה מתמטית ומדעית עם פתרונות מלאים, ותומך בהקשרים ארוכים של עד 32,000 תווכים. השילוב הזה נדיר למדי בדאטהסטים שאינם באנגלית בלבד.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה t-tech/T-Wix, ללא צורך באישור גישה מיוחד. המאגר מגיע בשמונה קבצי Parquet בחלוקה ל־train. כל שורה מכילה שלושה שדות: id ייחודי, messages כמערך של תפקידים ותוכן, ו־subset שמגדיר אם הדוגמה שייכת ל־general, reasoning, long_context או english_corpus. כדאי לסנן לפי תת-המאגר הרצוי לפני שטוענים הכל לזיכרון.
from datasets import load_dataset
ds = load_dataset("t-tech/T-Wix")הרישיון
הרישיון המוצהר הוא ODC-BY-1.0, שמחייב מתן קרדיט ליוצרים בעת השימוש ומאפשר שימוש חופשי. עם זאת, התשובות נוצרו באמצעות מודלים של צד שלישי כמו DeepSeek ו־Qwen, וחלק מהמקורות נלקחו ממאגרים עם תנאים משלהם. יש לבדוק את תנאי השימוש של אותם מודלים ומקורות לפני שמשלבים את הפלטים במוצר מסחרי.