Turkce-Atlas-Instruct
קוד פתוחAlicanKiraz0mit2026-04-15
מאגר שיחות מובנה בטורקית לאימון מודלים של מעקב אחר הוראות. הוא מרכז מאות אלפי דוגמאות בפורמט צ'אט מוכן שמיועד ישירות לכוונון עדין.
- 488הורדות בחודש
- 55לייקים
מה זה
המאגר כולל מאות אלפי רשומות המיועדות לאימון מונחה של מודלי שפה בטורקית. כל רשומה בנויה מעמודה בודדת של רשימת הודעות בסדר קבוע של מערכת, משתמש ועוזר. הודעת המערכת זהה לחלוטין בכל הרשומות ודורשת מהמודל היצמדות לפורמט, מענה ללא פטפוטים מיותרים, שימוש בטורקית תקינה וסירוב לבקשות מזיקות.
מבחינת התוכן, מדגם מייצג של הנתונים הראה מגוון רחב של משימות כמו שכתוב טקסטים, סיכום, שאלות ותשובות, הפקת פלטים מובנים כמו ג'ייסון וטבלאות, פתרון בעיות כמותיות וסירובים מאובטחים. אין במאגר חלוקה מובנית לסט בדיקה או אימות, והוא מכיל אך ורק חלק אימון יחיד.
מבנה הנתונים נשען על קובץ שורות ג'ייסון שבו כל דוגמה מייצגת שיחה שלמה בת תור יחיד. המידע אינו מחולק לתתי מאגרים לפי נושאים, אלא מוגש כיחידה אחת שדורשת מהמשתמש לפצל אותה עצמאית לצורכי הערכה.
מתאים ל
- כוונון מודלי צ'אט
אימון מונחה של מודלי שפה למעקב אחר הוראות וניהול שיחה שוטפת בטורקית.
- הפקת פלט מובנה
לימוד מודלים לייצר תשובות במבנה קשיח כמו טבלאות ופורמט ג'ייסון על פי דרישה.
- התאמת סגנון ושכתוב
אימון מערכות לשינוי משלב לשוני, תיקוני תחביר ושכתוב ניסוחים בטורקית.
איפה זה נופל
המאגר מוגבל לשפה הטורקית בלבד, ללא שום ייצוג לעברית או לאנגלית. יש בו הטיה ברורה במבנה, שכן מעל שבעה אחוזים מההוראות נפתחות בדיוק באותו משפט פתיחה של מענה על פי קטע טקסט, מה שעלול לגרום למודל להתקבע על תבנית אחת.
בנוסף, סריקה בסיסית חשפה רשומות עם תבניות שנראות כמו מספרי טלפון, כתובות רשת, מיילים ומספרי תעודות זהות. חלקן עשויות להיות סינתטיות, אבל חובה לבצע סינון מידע רגיש לפני שמכניסים מודל כזה לשימוש אמיתי. ישנן גם דוגמאות בודדות שבהן תשובת העוזר נקטעה כמעט לגמרי.
שאלות
נפוצות
האם יש במאגר נתונים בעברית?
לא. המאגר מוגדר ומכיל טקסטים בשפה הטורקית בלבד. הוא לא יסייע לאימון ישיר על משימות בעברית אלא אם משלבים אותו עם מקורות מידע נוספים.
האם מותר להשתמש בו למוצר מסחרי?
הרישיון המוצהר הוא אם אי טי, שמתיר שימוש מסחרי חופשי בכפוף למתן ייחוס. עם זאת, כרטיס המאגר מבהיר שלא נבדקו זכויות היוצרים של הטקסטים המקוריים שמהם הוא נבנה, ולכן שימוש מסחרי דורש זהירות.
כמה מקום צריך בשביל להוריד אותו?
הקובץ המרכזי שוקל סביב חצי ג'יגה בייט בלבד. אפשר להוריד אותו במלואו תוך זמן קצר על מחשב רגיל, או לקרוא אותו במצב הזרמה ללא שמירה מוקדמת של כל הנתונים בדיסק.
האם המאגר מוכן לאימון מיידי בלי סינון?
לא מומלץ להתחיל אימון בלי ניקוי מקדים. יש בו רשומות שמכילות דפוסים של פרטים מזהים כמו מספרי זהות ומיילים, מספר קטן של תשובות קטועות, והטיה חזקה לטובת תבנית קבועה של שאלות על קטעי קריאה.
איך טוענים
טוענים את המאגר ישירות דרך ספריית הנתונים של הגפינג פייס באמצעות מזהה המאגר וחלק האימון. הקובץ המרכזי מגיע בפורמט שורות ג'ייסון וקיים גם בגרסת פארקט, בנפח של סביב חצי ג'יגה בייט, כך שאין צורך במשאבי אחסון חריגים ואפשר גם לעבד אותו בהזרמה.
השדה היחיד שמעניין באימון הוא רשימת ההודעות. ספריות כוונון עדכניות יודעות לקרוא את המבנה הזה ישירות ולהחיל את תבנית השיחה של המודל שבחרתם, כאשר אובדן האימון מחושב בדרך כלל רק על תשובות העוזר.
from datasets import load_dataset
ds = load_dataset("AlicanKiraz0/Turkce-Atlas-Instruct")הרישיון
המאגר מדווח תחת רישיון פתוח מסוג אם אי טי. המשמעות היא שמותר להשתמש בו לצרכים מחקריים ומסחריים, לשנות אותו ולשלב אותו במוצרים, בתנאי ששומרים על הודעת הרישיון ומתן הקרדיט ליוצר. עם זאת, הכרטיס מציין שלא נערכה בדיקת זכויות יוצרים עצמאית על מקורות הטקסט עצמם, ולכן מומלץ לבדוק את ההיבט המשפטי לפני שמפיצים מודל מסחרי שאומן עליו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש