requests

מה זה

מדובר באוסף טכני של יותר מעשרת אלפים קובצי JSON, שכל אחד מהם מייצג בקשה להרצת בדיקות ביצועים עבור מודל שפה ספציפי. הקבצים כוללים מטא דאטה כמו שם המודל, ארכיטקטורה, דיוק המשקולות כמו bfloat16, והאם הבקשה עברה בהצלחה, נכשלה או מחכה בתור.

הנתונים נוצרו ישירות מהגשות של מפתחים בקהילה לגרסה הישנה של הלידרבורד מאז יוני 2023. אין כאן טקסטים לאימון שיחה או שאלות ותשובות, אלא ריכוז של בקשות להרצת מבחני Eleuther AI Harness כמו ARC, MMLU ו־GSM8k. אין חלוקה מובנית לסט אימון ומבחן, אלא מבנה תיקיות לפי שמות המשתמשים שהגישו את המודלים.

מתאים ל

• מעקב אחרי בדיקות עבר

  בדיקת סטטוס הריצה וההגדרות המקוריות של מודלים ישנים שנשלחו ללוח המבחנים הפתוח.

• ניתוח מגמות הגשה

  חקר סוגי הארכיטקטורות והדיוקים, כמו bfloat16, שהיו פופולריים בקרב מפתחי קוד פתוח ב־2023.

• סנכרון מול מאגר תוצאות

  הצלבת פרטי הבקשות הטכניות מול ביצועי המודלים במאגר התוצאות הנפרד של הלידרבורד.

איפה זה נופל

זה לא מאגר שמתאים לאימון מודלים של שפה או ליצירת טקסט, ואין בו נתוני שיחה, פרומפטים או עברית. הוא מייצג את הלוח הישן שנפתח באמצע 2023, ולכן הוא לא כולל מודלים חדשים יותר או את שיטות ההערכה העדכניות. בנוסף, הקרדיט מציין במפורש שהתוצאות המספריות עצמן לא שמורות כאן אלא במאגר תוצאות נפרד, ויוצרי המאגר מודים שהם בקושי עוקבים אחרי תקלות שמשתמשים פותחים סביבו.

איך טוענים

אין צורך באישור גישה כדי להוריד את המאגר, אבל הוא לא בנוי כדאטהסט טקסטואלי רגיל של huggingface datasets. כדי להשתמש בו מושכים ישירות את 10,047 קובצי ה־JSON, או קוראים אותם בקוד דרך ספריית הבקשות. שמות הקבצים עצמם מכילים מידע על סטטוס ההרצה, סוג המשקולות והגרסה, ובתוך כל קובץ שמורים שדות ההגדרה שנשלחו למערכת ההערכה.

from datasets import load_dataset

ds = load_dataset("open-llm-leaderboard-old/requests")

הרישיון

המאגר מפורסם תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי. אין חובת שיתוף תחת אותו רישיון. במקרה הזה מדובר במטא דאטה של רישום מודלים, כך שאין כאן חומר אימון שמשפיע ישירות על משקולות של מודל חדש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗