thai_exam
קוד פתוחtyphoon-aiapache-2.02024-06-25
שאלות רב-ברירה ממבחנים לאומיים ומקצועיים בתאילנד לבדיקת יכולות של מודלי שפה. הוא מיועד למי שרוצה למדוד ביצועים של מודל בתאילנדית על ידע מקומי, חשיבה לוגית ואתיקה.
- 1,700הורדות בחודש
- 18לייקים
מה זה
המאגר מרכז שאלות אמריקאיות מחמישה מבחנים רשמיים בתאילנד. הוא נבנה במקור כדי לבחון את המודל Typhoon, ומשם הגיע גם ללוח התוצאות של HELM מבית סטנפורד. יש בו 167 שאלות ממבחן הבגרות הכללי ONET במקצועות מדעים, מתמטיקה, מדעי החברה ושפה, ו־100 שאלות ממבחן הרישוי ליועצי השקעות של הבורסה התאילנדית.
שאר הרשומות מגיעות ממבחני קבלה לאוניברסיטאות. 70 שאלות מחשיבה ביקורתית ולוגית של מבחן TGAT, עוד 121 שאלות של חשיבה ואתיקה רפואית ממבחן הקבלה לרפואה TPAT-1, ו־132 שאלות ממבחני A-Level על יישום ידע יומיומי. בכל מבחן השאלות מגיעות עם ארבע או חמש אפשרויות בחירה.
מתאים ל
- בנצ'מרק למודלים בתאילנדית
מדידת היכולת של מודל שפה לענות על שאלות רב-ברירה בתאילנדית במגוון נושאים.
- בדיקת לוגיקה ואתיקה רפואית
הרצת שאלות TGAT ו־TPAT-1 כדי לבחון יכולות הסקה והכרעות אתיות בתאילנדית.
- הערכת ידע פיננסי מקומי
בחינת דיוק המודל מול שאלות ממבחני הרישוי להשקעות של הבורסה בתאילנד.
איפה זה נופל
זה לא מאגר לאימון. יש בו פחות מאלף שאלות בסך הכול, והוא כולו בתאילנדית, בלי מילה בעברית או באנגלית. הכרטיס לא מפרט תאריכי פרסום מקוריים של המבחנים או אופן סינון השגיאות מעבר לכך שנעשו תיקונים במעבר לגרסה 1.0. מי שבונה מודל רחב צריך לזכור שהמדגם קטן מאוד ובוחן בעיקר ידע תוכני ספציפי לתאילנד, כך שהוא לא מעיד על יכולות שפה כלליות.
שאלות
נפוצות
האם מותר להשתמש בזה במוצר מסחרי?
כן. רישיון Apache 2.0 מאפשר שימוש מסחרי מלא, כולל בחינה של מערכות פנימיות ומוצרים בתשלום, כל עוד משאירים את הצהרת הזכויות והרישיון המקורי.
האם יש כאן שאלות בעברית או באנגלית?
לא. המאגר מוגדר כולו בשפה התאילנדית ומבוסס על מערכת החינוך וההסמכה של תאילנד, ללא תרגום.
האם הדאטהסט מתאים לאימון מודל?
לא מומלץ. יש בו פחות מ־600 שאלות מבחן בסך הכול ועוד חמש דוגמאות בודדות בכל סט אימון, שנועדו כדוגמאות לפרומפט ולא לכוונון משקלים.
איך טוענים
הנתונים יושבים בקובצי JSONL פשוטים שמחולקים לתיקיות לפי שם המבחן, בלי צורך באישור גישה. ההיקף הכולל קטן מאלף רשומות, כך שההורדה שוקלת מעט מאוד ורצה מיד. בכל תיקייה יש פיצול ל־train ו־test, כאשר קובצי ה־train מכילים חמש דוגמאות בלבד שנועדו להרצה בתצורת 5-shot. השדות המרכזיים כוללים את השאלה, האפשרויות והתשובה הנכונה.
from datasets import load_dataset
ds = load_dataset("typhoon-ai/thai_exam")הרישיון
הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקבצים ולשלב אותם בבדיקות של מוצרים סגורים. התנאי העיקרי הוא מתן קרדיט ליוצרים המקוריים ושמירה על הודעת הרישיון. שימוש בנתונים להערכה או אימון אינו מחייב פתיחה של קוד המודל.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים