KOpen-platypus
קוד פתוחkyujinpycc-by-4.02023-08-21
תרגום קוריאני מוקפד של Open-Platypus לשיפור יכולות חשיבה לוגית במודלי שפה. מתאים למי שמאמן מודל בקוריאנית או בוחן יכולות הסקת מסקנות מתמטיות ותכנותיות.
- 216הורדות בחודש
- 35לייקים
מה זה
המאגר מבוסס על Open-Platypus המקורי, שמקבץ שאלות ותשובות מאוספי נתונים שונים כמו PRM800K, SciBench, TheoremQA, ReClor ופתרונות LeetCode. המטרה המקורית הייתה שיפור החשיבה הכמותית וההיגיון של מודלי Platypus2, תוך סינון שאלות דומות מעל שמונים אחוזים והסרה של כמאתיים שאלות שנמצאו במבחני ביצועים נפוצים.
היוצר תרגם את החומר מקוריאנית באמצעות DeepL Pro וסלניום במשך כמאה וארבעים שעות עבודה. תהליך הניקוי כלל בדיקה ידנית של יותר מאלפיים קטעי קוד, שמירה על התחביר המקורי בשפות כמו פייתון וג'אווה ללא תרגום הקוד עצמו, תיקון משפטים שנקטעו ותרגום הסברים בלבד כדי לא לפגוע בתקינות הטכנית של הדוגמאות.
מתאים ל
- אימון הוראות בקוריאנית
כוונון עדין של מודלי שפה בקוריאנית על משימות הסקה מורכבות, פתרון בעיות ומתמטיקה.
- אימון מודלים לכתיבת קוד
חיזוק יכולת המודל לייצר ולהסביר קוד מבוסס LeetCode בלי לפגוע בתחביר התכנותי המקורי.
- בדיקת איכות של תרגום מכונה
מחקר על טיב ההסבה של הנחיות לוגיות מורכבות מאנגלית לקוריאנית באמצעות פוסט פרוססינג ידני.
איפה זה נופל
אין כאן שום תוכן בעברית. הנתונים מתמקדים אך ורק באנגלית ובקוריאנית, כך שהוא לא יעזור ישירות למודל מקומי. מעבר לזה, מדובר בתרגום מכונה שעבר ליטוש חלקי, והיוצר עצמו מעריך שרק כתשעים וחמישה אחוזים מטעויות התרגום תוקנו. המשמעות היא שעדיין מסתובבות בפנים שגיאות ניסוח או עיוותים של מונחים מדעיים עדינים. בנוסף, הנתונים הוקפאו באוגוסט 2023, והם מיועדים למשימות היגיון וקוד ולא לשיחה חופשית או ידע כללי עדכני.
שאלות
נפוצות
האם יש במאגר נתונים בעברית?
לא. המאגר מכיל אך ורק טקסטים באנגלית וקוריאנית. אם המטרה היא שיפור יכולות בעברית, הנתונים כאן לא רלוונטיים בלי תרגום נוסף.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
עדיף שלא. אף שהיוצר הגדיר רישיון cc-by-4.0, חומרי המקור של Platypus כוללים אוספים עם רישיונות לא מסחריים כמו ScienceQA ו־ReClor. שילוב הנתונים האלה באימון מודל מסחרי חושף אתכם לסיכון משפטי.
איך המאגר נאסף ועובד?
הבסיס הוא Open-Platypus המקורי, שעבר תרגום לקוריאנית בעזרת DeepL Pro. היוצר השקיע כמאה וארבעים שעות של עיבוד, כולל תיקון ידני של אלפי קטעי קוד כדי להשאיר את התחביר המקורי שלם.
במה הוא שונה מ־Open-Platypus הרגיל?
התוכן הלוגי זהה, אך ההסברים וההנחיות תורגמו לקוריאנית תוך מאמץ לשמר מונחים טכניים וקטעי קוד באנגלית. מדובר בהתאמה ייעודית למודלים שפועלים בקוריאנית.
איך טוענים
המאגר פתוח לגישה ישירה ואינו דורש אישור מיוחד. הנתונים שמורים בקובץ Parquet יחיד שמכיל את פיצול האימון, כך שטעינה ישירה בספריית datasets דורשת שורת קוד פשוטה של load_dataset עם המזהה kyujinpy/KOpen-platypus. הגודל הכולל נע בטווח של עשרות אלפי רשומות, מה שמאפשר הורדה מהירה מאוד בלי צווארי בקבוק של רוחב פס או מקום בדיסק. לפני שמתחילים לרוץ, מומלץ לבדוק את התאמת שדות הטקסט המקורי והמתורגם, בעיקר במשימות שדורשות התאמה בין קוד להנחיה.
from datasets import load_dataset
ds = load_dataset("kyujinpy/KOpen-platypus")הרישיון
המאגר מציג רישיון מסוג cc-by-4.0 שמתיר שימוש מסחרי בכפוף למתן קרדיט. עם זאת, יש כאן מלכודת משפטית רצינית. חלק ממקורות המידע המקוריים כמו ScienceQA ו־ReClor כוללים במפורש הגבלות נגד שימוש מסחרי. אסור להסתמך על הרישיון המוצהר אם אתם בונים מודל למוצר מסחרי, כי המקורות גוברים על ההגדרה של המאגר הזה.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס