h-eval
קוד פתוחa686d380רישיון לא דווח2023-10-01
מבחן ביצועים בסינית שכולל 316 משפטים מתוך ספרות ארוטית. הוא בודק יכולת של מודלים להשלים את המילה הבאה בטקסטים למבוגרים.
- 59הורדות בחודש
- 37לייקים
מה זה
המאגר מורכב מ־316 משפטים שנבחרו ידנית מתוך רומנים ארוטיים בסינית. המטרה של כל דוגמה היא לבחון אם המודל מצליח לנחש ולהמשיך נכון את המילה הבאה ברצף הטקסט, משימה שבה בני אדם הגיעו לציון של 80.2 נקודות.
היוצר לא מפרט מאיזה ספרים ספציפיים נלקחו המשפטים, לפי איזה קריטריונים בוצע הסינון הידני או האם היה תהליך בדיקה נוסף מעבר לבחירה המקורית. אין כאן חלוקה לקבוצות אימון ובדיקה, אלא קובץ יחיד שמיועד כולו להערכה ומדידה מול מודלים אחרים שנבחנו כבר בטבלה המוצגת בעמוד.
מתאים ל
- הערכת השלמת מילים בסינית
מדידת הדיוק של מודלי שפה בניבוי המילה הבאה בתוך הקשר של טקסטים ארוטיים בסינית.
- השוואה מול ארכיטקטורות RWKV
בדיקת ביצועים של מודל חדש ביחס לעשרות גרסאות RWKV שנבדקו מראש על אותו מאגר.
- מחקר אקדמי על תוכן NSFW
ניתוח התנהגות מודלים שונים בהתמודדות עם שפה בוטה וספרות למבוגרים לצרכים מחקריים בלבד.
איפה זה נופל
הנתונים כולם בסינית בלבד, בלי שום מילה בעברית או באנגלית, כך שהם לא רלוונטיים למודלים בשפות אחרות. הכרטיס מדגיש במפורש שהמבחן לא מעיד על יכולת כתיבה של טקסטים ארוכים, וציון נמוך בו לא אומר שהמודל בטוח יותר או מוגן מתוכן מיני. מדובר ב־316 משפטים בלבד שנאספו ידנית בלי מתודולוגיה מתועדת, מה שיוצר הטיה מובהקת ולא מייצג יכולות שפה כלליות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא, אי אפשר להשתמש בו למוצר מסחרי. המפתח לא פרסם רישיון שימוש, ובנוסף ציין במפורש שהתוכן נועד למחקר מדעי בלבד. שימוש מסחרי במצב כזה חושף אתכם לבעיות של זכויות יוצרים.
האם יש כאן תמיכה בעברית או תרגום?
אין שום תמיכה בעברית. כל 316 המשפטים בקובץ כתובים בסינית בלבד ומבוססים על ספרות מקומית. אם אתם עובדים על מודל שמיועד לשוק הישראלי, הנתונים האלה לא יעזרו לכם.
כמה המאגר שוקל והאם הוא כבד להורדה?
המאגר קטן ביותר וכולל ארבעה קבצים בלבד ששוקלים מעט מאוד. קובץ הנתונים heval_v1.json מכיל 316 שורות טקסט קצרות, כך שההורדה והטעינה שלו לוקחות שניות בודדות ולא דורשות משאבי אחסון מיוחדים.
איך המידע נאסף והאם הוא עבר סינון מקצועי?
היוצר בחר 316 משפטים מתוך רומנים ארוטיים באופן ידני. אין תיעוד של קריטריוני הסינון, לא הוגדרו כללים מובנים לבחירת המשפטים, ולא נעשתה עבודת ניקוי סטטיסטית מעבר להחלטה אישית שלו.
איך טוענים
ההערכה רצה דרך סקריפט הפייתון benchmark.py שמצורף ישירות למאגר, לצד קובץ הנתונים heval_v1.json שמכיל את המשפטים עצמם. המאגר פתוח לחלוטין לציבור ללא צורך באישור גישה מוקדם או מפתחות מיוחדים, ומכיל בסך הכל ארבעה קבצים קלים מאוד. כדי להריץ את הבדיקה על מודל משלכם, תצטרכו להזין אליו את המשפטים מתוך קובץ ה־JSON ולמדוד את אחוזי ההצלחה בניבוי המילה הבאה.
from datasets import load_dataset
ds = load_dataset("a686d380/h-eval")הרישיון
היוצר לא דיווח על שום רישיון במאגר, אבל הוסיף הערה שהנתונים מיועדים למחקר מדעי בלבד. מבחינה משפטית, היעדר רישיון מסודר אומר שכל הזכויות שמורות ואין אישור להשתמש בזה למטרות מסחריות או להפיץ מודל שאומן עליו.