TARA_Turkish_LLM_Benchmark

מה זה

המאגר כולל בדיוק 100 צמדי שאלה ותשובה בטורקית שמכסים עשרה תחומים, בהם הסקה לוגית, מתמטיקה, כתיבת שאילתות SQL, ניתוח קוד פייתון, דילמות מוסריות, ניתוח תרחישים וכתיבה יצירתית מוגבלת. כל תחום מחולק לעשר רמות קושי, משאלה פשוטה יחסית ועד למורכבת ביותר, עם דוגמה אחת בלבד לכל רמת קושי בכל תחום.

כל הנתונים נוצרו באופן סינתטי לגמרי באמצעות המודל gemini-2.5-pro-preview-03-25 של גוגל, בעזרת הוראות מערכת והגדרות קושי מובנות. לא נעשה כאן איסוף של טקסטים מהאינטרנט או תיוג אנושי ידני. כל רשומה כוללת את השאלה, טקסט רקע הכרחי לתשובה לפי עקרונות של שליפת מידע מבוססת מקור, תשובה מפורטת עם שלבי פתרון, קריטריונים להערכת ההצלחה, מחרוזת להתאמה מדויקת, ואת יומן הקריאה לשרת בפורמט JSON. כל הדוגמאות מרוכזות בחלוקה אחת בלבד ללא פיצול מובנה לאימון ובדיקה.

מתאים ל

• בדיקת הסקה בטורקית

  הרצת מודל שפה מול 100 שאלות מדורגות קושי כדי למדוד יכולות ניתוח וחשיבה בטורקית.

• בחינת יכולות RAG

  מדידת היכולת של מודלים להישען אך ורק על טקסט הרקע המצורף בלי להמציא מידע חיצוני.

• הערכת קוד בסיסית

  בדיקת יכולת המודל לייצר שאילתות SQL ולנתח שגיאות בקוד פייתון על פי הנחיות בטורקית.

איפה זה נופל

החיסרון המרכזי הוא הגודל. מאה רשומות בלבד לא מספקות מדגם בעל מובהקות סטטיסטית, אלא בדיקת דופק ראשונית בלבד. מעבר לזה, כל הדאטה סינתטי ונוצר על ידי מודל יחיד של גוגל, בלי שום מעורבות או בדיקה אנושית ידנית. המשמעות היא שהשאלות עלולות לשקף את דפוסי החשיבה וההטיות הפנימיות של ג'מיני, כולל הגדרות שנויות במחלוקת לשאלות אתיקה. השפה היא טורקית בלבד, ללא ייצוג לעברית, וקיימת אפשרות לשגיאות ניסוח או סתירות פנימיות שההפקה האוטומטית לא סיננה.

איך טוענים

טוענים את קובץ ה־tr_llm_benchmark.csv ישירות מהמאגר או דרך ספריית הדאטהסטים. המאגר פתוח לציבור, כולל בסך הכל ארבעה קבצים ושוקל מעט מאוד, כך שההורדה מסתיימת בשניות. המאגר כולל גם מחברת בדיקה בפורמט ipynb שמסבירה איך לבצע את ההערכה מול המודלים. השדות המרכזיים לעבודה הם soru לשאלה, klavuz_metin לטקסט הרקע, ו־cevap לתשובה המלאה. עבור הרצת בדיקות אוטומטיות, כדאי לשים לב לשדה exact_matchs שמספק ערך ממוקד וחד משמעי להשוואה.

from datasets import load_dataset

ds = load_dataset("emre/TARA_Turkish_LLM_Benchmark")

הרישיון

המטא-דאטה מציין את רישיון AFL 3.0, שמאפשר שימוש מסחרי, שינוי והפצה, תוך שמירה על זכויות היוצרים ומסירת הודעת הרישיון. הטקסט בתיעוד מציין במקביל את הביטוי רישיון אקדמי, מה שיוצר סתירה משפטית מסוימת. אם המטרה היא בניית מוצר מסחרי, כדאי לפנות למפרסמים כדי לוודא שאין כוונה להגביל את המודל המאומן למחקר בלבד.

הרישיון המלא ב־Hugging Face ↗