InstrucTurca
קוד פתוחturkish-nlp-suitecc-by-sa-4.02024-07-28
מאגר נרחב לאימון הוראות בטורקית, שנבנה מתרגום מכונה של מקורות מובילים באנגלית. הוא מציע היקף עצום של מיליוני דוגמאות למגוון משימות, מרפואה ועד תכנות.
- 247הורדות בחודש
- 40לייקים
מה זה
הנתונים כוללים בין מיליון לעשרה מיליון רשומות, כשכל רשומה בנויה כזוג טקסטים של קלט משתמש ופלט מודל. המטרה כאן היא לכסות שיחה, מענה לשאלות, סיכום וכתיבת קוד עבור מודלים בטורקית, תחום שבו חסרים נתונים מקוריים רבים בהיקפים כאלה.
כל המידע מבוסס על תרגום מאגרים קיימים באנגלית. בין המקורות תמצאו דאטהסטים כמו OpenOrca, Open-Platypus, MathInstruct, MedText, tiny-codes ו־pubmed_qa. התרגום בוצע באמצעות המודל Snowflake Arctic Instruct עם פרומפט בסיסי שתרגם את שאלות המשתמש ואת תשובות הבוט, ולאחר מכן החוקרים עברו על התוצאות במטרה לנפות תרגומים שנראו כמו הזיות של המודל.
מתאים ל
- אימון מודלים בטורקית
כוונון של מודלי שפה פתוחים כדי שיבינו ויענו להוראות מורכבות בטורקית.
- עוזרי שיחה ומענה לשאלות
בניית צ'אטבוטים שצריכים לנהל שיחה כללית ולענות על שאלות ידע בטורקית.
- הסבת יכולות קוד ומתמטיקה
שיפור היכולת של מודלים לפתור בעיות חישוביות ולכתוב קוד לפי הנחיות בשפה הטורקית.
איפה זה נופל
זהו דאטהסט סינתטי לחלוטין שמבוסס כולו על תרגום מכונה, ללא טקסטים שנכתבו במקור בטורקית או נבדקו מול דוברי שפה אותנטיים. תרגומי מודלים נוטים לפספס דקויות לשוניות, סלנג וביטויים מקומיים, ולעיתים קרובות סובלים מתחביר מאולץ שנשמע כמו אנגלית מתורגמת. בנוסף, אין כאן התאמה לחוקים, לתרבות או למונחים המקומיים בטורקיה, והסינון הידני או האוטומטי נגד הזיות אינו מבטיח דיוק מוחלט, במיוחד בתוכן רפואי או מתמטי.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
כן, היוצרים מציינים שהשימוש המסחרי מותר. עם זאת, הרישיון הוא cc-by-sa-4.0, שכולל דרישת שיתוף זהה. המשמעות היא שכל נגזרת של המידע שתפיצו תצטרך להיות תחת אותו רישיון פתוח, וזה עלול להגביל שימוש במודלים קנייניים סגורים.
האם הדאטהסט כולל עברית?
לא, המאגר כולל אך ורק נתונים בטורקית שתורגמו מאנגלית. אין בו שום תוכן בעברית או ייצוג לשפות אחרות. אם אתם מחפשים לאמן מודל מקומי לישראל, המאגר הזה לא רלוונטי עבורכם אלא אם אתם עובדים על פרויקט רב-לשוני ספציפי.
איך אספו ותרגמו את הרשומות?
החוקרים לקחו מאגרי הוראות מוכרים באנגלית, כמו OpenOrca ו־MedText, ותרגמו את שאלות המשתמש ואת תשובות המערכת באמצעות המודל Snowflake Arctic Instruct. הם השתמשו בהנחיית תרגום פשוטה, ובסיום ביצעו מעבר סינון כדי להסיר תרגומים עם הזיות בולטות של המודל.
האם יש חלוקה מוגדרת לסט אימון וסט בדיקה?
לא, המאגר כולל רק קובץ אימון מרכזי בשם train.jsonl. אם אתם מתכננים להעריך את ביצועי המודל בצורה מסודרת, תצטרכו להפריד בעצמכם חלק מהרשומות לטובת בדיקה לפני שאתם מתחילים באימון.
איך טוענים
הנתונים יושבים בקובץ train.jsonl בתוך המאגר, ללא צורך באישור גישה מקדים או מילוי טפסים. אפשר לטעון אותם ישירות באמצעות ספריית datasets של Hugging Face. היות שמדובר במיליוני רשומות, מומלץ לעבוד עם הזרמה של הנתונים כדי לא לחנוק את הזיכרון, ולבדוק את מבנה שדות הקלט והפלט בכל רשומה לפני שמריצים אימון מלא.
from datasets import load_dataset
ds = load_dataset("turkish-nlp-suite/InstrucTurca")הרישיון
המאגר מופץ תחת רישיון cc-by-sa-4.0. זה אומר שמותר להשתמש בו לצרכים מסחריים ומחקריים, בתנאי שנותנים קרדיט מתאים ליוצרים. המלכוד המרכזי כאן הוא סעיף השיתוף הזהה, שמחייב אתכם לפרסם יצירות נגזרות תחת אותו רישיון בדיוק. אם תאמנו מודל ישירות על הנתונים האלה, ייתכן שתידרשו לשחרר את משקולות המודל תחת רישיון פתוח זהה.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון