stanford-alpaca-cleaned-turkish-translated
קוד פתוחemreafl-3.02023-04-02
תרגום מכונה לטורקית של הוראות Stanford Alpaca המקוריות, בתוספת נתונים מפרויקט ההוראות של GPT-4. מתאים למי שמאמן מודלי שפה בטורקית ומחפש בסיס פקודות קיים.
- 50הורדות בחודש
- 27לייקים
מה זה
המאגר מבוסס על סט ההוראות הידוע של Stanford Alpaca באנגלית, שעבר תרגום מלא לטורקית באמצעות בינה מלאכותית על ידי Davut Emre Taşar. בהמשך נוספו לו גם דוגמאות מפרויקט GPT-4-LLM, כך שהוא מכיל שילוב של הוראות מעקב ותשובות סינתטיות שנוצרו במקור על ידי מודלים של OpenAI.
התוכן עצמו מחולק למספר קבצי אקסל במאגר, כולל קבצים כמו output2, output3a, output3b וקובץ שמתבסס על unnatural instructions בהיקף של תשעת אלפים רשומות. סך כל הרשומות נע בין עשרת אלפים למאה אלף, והן כוללות מטלות של יצירת טקסט, מענה לשאלות ומילוי הוראות שונות. הכרטיס אינו מפרט תהליך של בדיקה אנושית, סינון שגיאות ידני או עריכה לשונית לאחר שלב התרגום האוטומטי.
מתאים ל
- אימון מודל פקודות בטורקית
כוונון עדין של מודלי שפה קיימים כדי שיבינו ויבצעו הוראות מורכבות בטורקית.
- מחקר על תרגום מכונה בהוראות
בדיקת ההשפעה של תרגום סינתטי ישיר על איכות הפלט של מודל שפה.
- השוואת ביצועים בלמידת מודל
בחינת יכולות המענה של מודלים בטורקית מול בסיס נתונים רחב של אלפקה.
איפה זה נופל
התרגום כולו נעשה באמצעות כלי בינה מלאכותית ללא תיעוד על בקרת איכות ידנית. כתוצאה מכך צפויות בעיות של תרגום מילולי, שגיאות דקדוקיות בעייתיות בטורקית וחוסר התאמה תרבותי של ההוראות המקוריות שנכתבו באנגלית. המאגר מיועד אך ורק לטורקית ואין בו שום תוכן בעברית. בנוסף, הנתונים הועלו באפריל 2023 ומבוססים על ידע ישן יחסית, כך שחובה לסנן ולנקות שגיאות תרגום גסות לפני שמשתמשים בהם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא, המאגר לא מתאים לשימוש מסחרי. למרות שברישיון המערכת מופיע AFL 3.0, היוצר כתב במפורש שהשימוש מיועד למחקר אקדמי בלבד. בנוסף, הנתונים נשענים על פלטים של מודלי OpenAI שמגבילים אימון מודלים מסחריים מתחרים.
האם יש במאגר נתונים בעברית?
אין במאגר עברית בכלל. כל ההוראות והתשובות תורגמו מאנגלית לטורקית בלבד. מפתחים ישראלים יכולים להשתמש בו רק אם הם בונים מודל שמיועד לשפה הטורקית.
איך נאספו ותורגמו הנתונים בפועל?
הבסיס מגיע מפרויקט Stanford Alpaca ומפרויקט GPT-4-LLM שנוצרו באנגלית. Davut Emre Taşar לקח את הנתונים האלה ותרגם אותם לטורקית באמצעות מודלי בינה מלאכותית. הכרטיס אינו מציין סינון ידני של התוצאות לאחר מכן.
באיזה פורמט הקבצים מגיעים ואיך פותחים אותם?
המאגר מורכב משישה קבצים, שרובם שמורים בפורמט אקסל כמו output2 ו־output3a. לא מדובר במבנה נתונים אחוד של Hugging Face, ולכן תצטרכו להוריד את הקבצים ולעבד אותם בקוד שלכם באמצעות ספריית פנדס.
איך טוענים
הגישה למאגר פתוחה לחלוטין ואין צורך באישור מיוחד. הנתונים אינם שמורים בפורמט פרקט או ג'ייסון סטנדרטי של Hugging Face, אלא בקבצי אקסל נפרדים שדורשים הורדה ישירה וטעינה באמצעות ספריות כמו pandas. לפני האימון תצטרכו לאחד את הקבצים, לבדוק את מבנה העמודות בכל גיליון ולוודא שהשדות תואמים למבנה של פקודה, קלט ותגובה.
from datasets import load_dataset
ds = load_dataset("emre/stanford-alpaca-cleaned-turkish-translated")הרישיון
הרישיון המוגדר במטא-דאטה הוא Academic Free License 3.0, שמאפשר שימוש נרחב בכפוף למתן ייחוס. עם זאת, היוצר מציין במפורש בטקסט שהשימוש מיועד למטרות אקדמיות בלבד ודורש ציטוט של עבודתו. בגלל הסתירה הזו, ובשל העובדה שהמקור מבוסס על פלט סינתטי של OpenAI שהסכם השימוש שלו אוסר אימון מודלים מתחרים, אי אפשר להשתמש במאגר לפיתוח מוצרים מסחריים.